Mar, 2024

SeFFeC：面部特征精细编辑的语义控制

PDF
TL;DR我们提出了一种新颖的方法 Semantic Facial Feature Control (SeFFeC) 用于细粒度人脸形状编辑，该方法能够操纵人类可理解的语义人脸特征，并且由不同组的面部标志定义，通过使用面部标志进行精确测量从而实现对 SeFFeC 进行无需手动注释的训练。SeFFeC 由基于 Transformer 的编码网络组成，接受预训练生成模型的潜在向量和面部特征嵌入作为输入，并学习修改潜在向量以执行期望的面部编辑操作。通过引入新颖的语义人脸特征损失，以确保将期望的特征测量改变为目标值，而不会改变不相关的特征。定性和定量实验结果表明，SeFFeC 能够对 23 个面部特征进行精确和细粒度的控制，其中一些特征以前无法通过其他方法进行控制，而无需手动注释。与现有方法不同，SeFFeC 还提供了对面部特征的确切值的确定性控制，以及更局部化和解耦的面部编辑。
semantic facial feature controlfine-grained face shape editingfacial landmarkslatent vectorface edit operation
发现论文，激发创造
  • DiffFAE：利用空间敏感定制和语义保留推动高保真度的一次性人脸外貌编辑

    DiffFAE 是一个基于扩散的高效一阶段框架，旨在实现高保真的面部外貌编辑。通过使用基于 3D Morphable Model（3DMM）的渲染纹理，采用空间敏感的物理定制（SPC）来确保高保真度和泛化能力；通过引入区域响应的语义组合（RSC）模块来保留源属性；通过一致性正则化来增强编辑可控性。实验证明，DiffFAE 在面部外貌编辑方面具有优越性能，达到了领先水平。

    Mar, 2024

  • 几何感知的人脸补全与编辑

    本文提出了一种基于面部几何特征的面部完成和编辑网络（FCENet），通过从未误差处理的人脸区域分析面部几何结构，采用编码器 - 解码器结构和低秩正则化项进行脸部图像的自动修复和编辑。

    Sep, 2018

  • 面部视频的深度语义处理

    本文提出了一种基于神经渲染和基于 3D 面部表情建模的方法，支持语义视频操作，可以通过改变和控制面部表情实现交互式操作，实现了有希望的逼真效果，并且引入了用户友好的交互 AI 工具，可以处理关于特定部分的输入视频中期望的表情操作的可读的语义标签，并合成逼真的操作视频。

    Nov, 2021

  • 语义邻域感知的深度面部表情识别

    本文提出了一种新颖的方法来避免处理具有极端不平衡性、且在测试时会导致表现降低的 FER 数据集，在捕捉到输入轻微语义扰动的同时，考虑了样本点的邻域平滑度，减少了那些不可靠的样本的影响。在 AffectNet 这个最大的 FER 数据库中进行的实验表明，该方法是有效的，并且报告了最新的研究结果，相较于现有的的技术方法提高了 30% 的上限。

    Apr, 2020

  • 基于显著性增强特征融合的多尺度 RGB-D 显著目标检测网络

    本文针对 RGB-D 显著性检测问题，提出了一种定制化的特征融合模块 SEFF，通过利用邻近尺度的显著性图来增强融合所需的特征，得到更具代表性的融合特征。我们的多尺度 RGB-D 显著性检测器使用 SEFF 处理三个不同尺度的图像，并将 RGB 和深度图像的特征以及不同尺度解码器的特征进行融合。在五个基准数据集上进行的大量实验证明了我们方法在显著性检测上的优越性。

    Jan, 2024

  • FACESEC: 面向人脸识别系统的细粒度鲁棒性评估框架

    提出 FACESEC 框架，针对人脸识别系统进行精细化鲁棒性评估，并通过评估五个人脸识别系统的表现，发现神经网络结构的准确性比训练数据的知识对于黑盒攻击更为重要；开放式面部识别系统比封闭式系统更易受到不同类型攻击；而对于其他威胁模型变化的攻击有效性则高度依赖于威胁的本质和神经网络结构的选择，例如利用对抗性面部口罩的攻击通常更具攻击性，且 ArcFace 神经网络结构相对于其他网络结构更加稳健。

    Apr, 2021

  • 神经情感导演：在野外视频中保留语音的语义控制面部表情

    本文介绍了一种新颖的深度学习方法，用于对 “野外” 视频中演员情绪状态的逼真操作。该方法基于演员输入场景中的参数化 3D 面部表示，并使用新颖的深度域转换框架，结合动态信息，以一致而可信的方式改变面部表情。经过广泛的定性和定量评估和比较，我们的方法证明了其有效性并取得了尤为有前途的结果。该方法可应用于电影后期制作、视频游戏和逼真的情感化头像等各种领域。

    Dec, 2021

  • 图像语义转换：更快、更轻、更强

    本文提出了一种名为 ISTRC 的模型，它使用 Facenet 的欧几里得潜空间来理解图像，能够实现完美重构，以实现语义变换和图像算术计算。ISTRC 可以执行包括男女性别、微笑、大嘴巴、减掉胡须或加上胡须、变大 / 变小的鼻子、老化及年轻化、变大的嘴唇、变大 / 变小的眼睛和嘴巴、更有吸引力等十种高级语义变换。训练模型只需要 3 小时。

    Mar, 2018

  • 基于数据驱动的面部表情编码系统（DFECS）的无监督学习使用关键点追踪

    通过计算机视觉技术中的面部关键点跟踪，提出了一种基于数据驱动的面部表情编码系统（DFECS），通过引入稀疏性和正性约束的高级降维技术，可以自动估计面部运动中的行动单元并解释性强，进一步的研究可以加速面部表情分析在安全、医疗和娱乐等领域的应用。

    Jun, 2024

  • POCE: 姿态可控的表情编辑

    该研究提出了一种新的姿态可控表情编辑网络 POCE，通过映射面部图像到 UV 空间，将面部表情和头部姿态分离，并可单独进行编辑，实现更易接近和真实的姿态可控表情编辑。

    Apr, 2023