Feb, 2024

通过聚焦视线的损失项缓解人脸交换中的怪异感

TL;DR面部交换研究中,我们探讨了观察者对面部交换的感知,特别关注了反常谷效应的存在。我们提出了一种新的训练模型方法,通过利用预先训练的凝视估计网络来直接改善对眼睛的表示。研究结果表明,面部交换会引起观察者的反常反应,但通过我们的方法可以显著减少面部交换与源材料之间的视角误差,并减少眼睛在深假检测任务中的重要性。这些发现对于特效制作、数字化形象、隐私保护等领域具有重要意义,用户的负面反应可能限制这些应用的有效性。通过定向方法改善观察者的感知是一个重要的起点。