文章首先主要实现了两个功能第一个是单幅2D人脸图片直接转化为3D人脸模型,第二个是实现了在2D图像上的头部姿势改变,并将头部姿势改变的图片通过功能一完成3D人脸的转化。对于功能一,论文先是分割出头部区域中的脸部区域(不含头发与耳朵)使用3DMM模型生成脸部深度图,然后对头部区域中的其他区域(头发耳朵区域)使用孪生网络方式训练网络生成完整的深度图,在这个步骤也实现了将前面的脸部深度图与其他区域深度图进行合成得到完整的头部深度图。对于功能二首先是对人脸区域和其他区域进行一个刚性变化并重新投影到平面图像中,然后在使用对抗学习来将刚才重新投影得到平面图像进行修复完善生成新的人脸图像。
文章实现了模拟随表情变化的皱纹,目前的3D人脸都是基于面部扫描生成的,不能很好的推广到野外(户外)照片上,这篇文章提出一张方法能够从野外的人脸照片中学习具有动画细节的人脸生成模型。