Jul, 2023

音素和面貌的隐秘舞蹈：揭示音素与面部特征之间的神秘关联

PDF
TL;DR本研究揭示了音位和面部特征之间的神秘联系，通过提出细粒度的语音 - 面部关系分析流程，证实了元音比辅音更容易通过行气和面部运动来预测面部人体测量学属性，并为未来研究语音 - 面部多模式学习奠定了基础。
phonemesfacial featuresvoice-face correlationfine-grained analysisspeech-face multimodal learning
发现论文，激发创造
  • 重新思考声音和面部相关性：几何视角

    从几何学的角度而不是语义信息来重建声音到三维面部形状的能力进行研究，通过使用声音测量 - 面部范例识别可预测的面部测量特征并将其用于指导三维面部重建，消除了无法预测的面部测量特征的影响，从而使得面部几何学可操作。在我们提出的数据集上进行模型评估，发现声音与面部几何特征的特定部位（如鼻腔和颅骨）之间存在显著相关性，为声音 - 面部相关性提供了新的视角，并可作为人类测量学科的实证研究。

    Jul, 2023

  • 学习面孔和声音的关联

    本文研究人类面孔与声音之间的关联，通过在线研究，在新建数据集上证实人们可以将未见过的面孔与对应的声音相关联，并且我们计算建模了面孔和声音之间的重叠信息，表明该跨模态表示包含足够的信息来识别匹配的面孔和声音，并且此表征具有与某些人口属性和从单一视觉或听觉模式获取的特征的相关性，我们发布了我们的音视数据集和人们朗读短文的人口学注释。

    May, 2018

  • NPVForensics: 捆绑非关键音位和视位以便深度伪造检测

    本文提出了一种新的 Deepfake 检测方法（称为 NPVForensics），在现有的多模态检测方法基础上，通过挖掘非关键音位和唇位相关性，构建相应面部特征流，设计精细的动作损失函数，以及跨模态特征融合和表示对齐模块，最终使用自监督预训练策略，在现有基准测试中取得了更优的检测效果。

    Jun, 2023

  • 寻找声音的形状：学习声音 - 面孔关联的自适应框架

    本文提出了一个基于全局和局部信息的定位框架，其中引入了全局 loss 来处理学习困难度问题，并提出了动态重新加权机制来探索较难但有价值的身份。通过配对测试，验证和检索任务的实验，表明所提方法优于以往的方法。

    Mar, 2021

  • Speech2Face：学习声音背后的面容

    本研究旨在利用数百万自然互联网 / YouTube 视频中的人物语音，建立和训练一个深度神经网络模型，以在不需要明确建模人物面部外貌特征的情况下，从个人短音频录音中重建面部图像，通过自我监督，研究模型如何识别人物的年龄、性别和种族。

    May, 2019

  • VisemeNet：音频驱动的动画师中心语音动画

    本文提出了一种基于深度学习的新型方法，用于直接从输入音频中产生驱动 JALI 或标准 FACS 制作面部捕捉的动画师中心音频运动曲线。

    May, 2018

  • 跨模态感知者：能否从声音中获取面部几何信息？

    该论文研究了声音是否可以描绘出人脸的几何形状，提出了一种跨模态感知的分析框架，包括有监督和无监督学习，并构建了一个包含配对声音和面部网格的数据集，最终通过视觉和数字分析探究了这一核心问题。

    Mar, 2022

  • CorrTalk: 面部动作和语音层次间的相关性对 3D 动画的影响

    通过建立语音特征和面部活动强度之间的时序相关性，本研究提出了 CorrTalk 框架来有效地合成具有不同强度面部活动的面部动画，并通过加权分级特征编码器确保了口型同步和逼真的面部表情。大量的定性和定量实验证明，我们的 CorrTalk 优于现有的最先进方法。

    Oct, 2023

  • 通过受控自编码器生成与声音相对应的人脸

    本研究提出了一种基于先前学习到的语音 - 面部相关性的引导自编码器框架，通过将目标面孔形态学变换来匹配语音信息，显著提高了人脸检索和识别的准确性。

    Jul, 2021

  • 将声音与图像结合以确定视频中的发言者

    本文提出了一种音视频关联系统，将音频和视觉信号的信息融合，通过对视频中的统计数据的聚合实现面部和声音的有效关联，无需针对此任务的具体训练数据，并利用音频和视觉流中信息的自然相干性，特别适用于跟踪网络视频中的说话人，通过对真实数据集的实验表明，该方法的准确率约为 71％。

    May, 2017