【CVPR2022论文精读DiffFace】DiffFace: Diffusion-based Face Swapping with Facial Guidance

本文分享DiffFace，一种换脸的方法，在介绍全文的时候会在段末加入部分笔者的见解，希望对于论文的理解有一定的帮助。
这是第一个将扩散模型应用于换脸任务的方法。在training stability，high fidelity和controllability方面都有一定的优势。
在扩散模型训练时用了条件训练，采样时也用了条件引导采样，都是为了保存源脸的身份信息。目标脸的属性背景保存用的方法是target-preserving blending策略。
扩散模型的训练和采样方法大多基于Diffusion Models Beat GANs on Image Synthesis，不过本文增加了一些trick，例如通过在$x_t$直接预测$x_0$来获得没有噪声的图像，从而直接喂给预训练的分类器（人脸专家模型，如${\mathcal{D}}_I$表示身份嵌入器转移源脸的身份信息，${\mathcal{D}}_F$表示人脸解析器保留目标脸的属性如表情、姿态和形状，${\mathcal{D}}_G$表示注视估计器保留目标眼睛的注视方向。）。在理解了扩散模型之后这部分其实不难看懂。
其次是target-preserving blending保留目标的背景与源脸的身份，利用一个人脸解析器face parser给出一个语义人脸面具semantic facial mask。将合成的结果与获得的目标hard mask M进行元素级积，但是这里通过改变mask强度来更好地保留目标的结构属性（mask太度会损失目标图像的结构属性）图3展示了该方法的概述。

持续更新中…