FastPhotoStyle

https://github.com/NVIDIA/FastPhotoStyle

项目简介

正如周报中所说,这个项目旨在将源照片的风格融入目标照片中,能够实现快速的风格转变

 

对比

众所周知的是,在此之前便有过不止一种试图实现这个功能的算法,但他们的效果往往并不理想,而且效率极低。(因为某些原因无法测试,下面放上找来的对比图):

a,b分别为源照片与目标照片,c,d为其他算法得到的结果,e为该算法得到的结果

 

原理

在FastPhtoStyle中,处理分为风格化与平滑化两个过程,而风格化阶段主要是通过Photo WCT转换(Whitening and Coloring Transform/白化与着色变换)(自行google)将两图进行合成得到一张过渡图片(没有示例图),但是这张图片会有叠影与失真的情况,

注:WCT是所有数据泛用的转换,Photo WCT是针对图像优化的转换

 

于是,便有了第二步,平滑化,在该阶段中,会将目标图片与过渡图片的邻近区域进行对比,并把相近的像素套入相同的风格,强化图片空间的一致性,然后还会进行检查,避免结果偏离以维持整体风格

 

这也是与现有的需要迭代优化的算法不同的地方,两个步骤独立并有着针对的解决方案,使得处理的速度是原有算法的60倍,而且得到的效果的好评是原有的2倍

 

参考

Github:https://github.com/NVIDIA/FastPhotoStyle

论文:https://arxiv.org/abs/1802.06474

用户手册:https://github.com/NVIDIA/FastPhotoStyle/blob/master/USAGE.md

许可证:https://github.com/NVIDIA/FastPhotoStyle/blob/master/LICENSE.md

安装与使用自行参考以上链接

 

关于labelme

labelme是一个python的图像注释工具

安装了labelme后,在提供内容的图片和提供风格的图片里用画多边形的方式各标出一片区域,这两个区域需要有相同的标签,标签会存在一个“.json”的文件中供我们使用。这让我们可以在图片中选取部分内容和部分风格进行修饰。

作者介绍

  • 刘洺堉,曾是三菱电子研究实验室的首席研究员,有马里兰大学帕克分校的电气和计算机工程的博士学位。他研制出了基于商业视觉的机器人料仓拣选系统的主要部分等创新科技产品。喜欢练功,博客上全是各种功夫的概要

  • Yijun Li,大学浙大,硕士上交大,博士加利福尼亚大学在读
  • Si-Yuan,中科大学生