FastPhotoStyle

https://github.com/NVIDIA/FastPhotoStyle

項目簡介

正如周報中所說,這個項目旨在將源照片的風格融入目標照片中,能夠實現快速的風格轉變

 

對比

眾所周知的是,在此之前便有過不止一種試圖實現這個功能的演算法,但他們的效果往往並不理想,而且效率極低。(因為某些原因無法測試,下面放上找來的對比圖):

a,b分別為源照片與目標照片,c,d為其他演算法得到的結果,e為該演算法得到的結果

 

原理

在FastPhtoStyle中,處理分為風格化與平滑化兩個過程,而風格化階段主要是通過Photo WCT轉換(Whitening and Coloring Transform/白化與著色變換)(自行google)將兩圖進行合成得到一張過渡圖片(沒有示例圖),但是這張圖片會有疊影與失真的情況,

註:WCT是所有數據泛用的轉換,Photo WCT是針對圖像優化的轉換

 

於是,便有了第二步,平滑化,在該階段中,會將目標圖片與過渡圖片的鄰近區域進行對比,並把相近的像素套入相同的風格,強化圖片空間的一致性,然後還會進行檢查,避免結果偏離以維持整體風格

 

這也是與現有的需要迭代優化的演算法不同的地方,兩個步驟獨立並有著針對的解決方案,使得處理的速度是原有演算法的60倍,而且得到的效果的好評是原有的2倍

 

參考

Github:https://github.com/NVIDIA/FastPhotoStyle

論文:https://arxiv.org/abs/1802.06474

用戶手冊:https://github.com/NVIDIA/FastPhotoStyle/blob/master/USAGE.md

許可證:https://github.com/NVIDIA/FastPhotoStyle/blob/master/LICENSE.md

安裝與使用自行參考以上鏈接

 

關於labelme

labelme是一個python的圖像注釋工具

安裝了labelme後,在提供內容的圖片和提供風格的圖片里用畫多邊形的方式各標出一片區域,這兩個區域需要有相同的標籤,標籤會存在一個「.json」的文件中供我們使用。這讓我們可以在圖片中選取部分內容和部分風格進行修飾。

作者介紹

  • 劉洺堉,曾是三菱電子研究實驗室的首席研究員,有馬里蘭大學帕克分校的電氣和計算機工程的博士學位。他研製出了基於商業視覺的機器人料倉揀選系統的主要部分等創新科技產品。喜歡練功,博客上全是各種功夫的概要

  • Yijun Li,大學浙大,碩士上交大,博士加利福尼亞大學在讀
  • Si-Yuan,中科大學生