Jul, 2023

重新思考声音和面部相关性：几何视角

PDF
TL;DR从几何学的角度而不是语义信息来重建声音到三维面部形状的能力进行研究，通过使用声音测量 - 面部范例识别可预测的面部测量特征并将其用于指导三维面部重建，消除了无法预测的面部测量特征的影响，从而使得面部几何学可操作。在我们提出的数据集上进行模型评估，发现声音与面部几何特征的特定部位（如鼻腔和颅骨）之间存在显著相关性，为声音 - 面部相关性提供了新的视角，并可作为人类测量学科的实证研究。
voice-face matchingvoice-guided face synthesis3d facial shape reconstructionvoice-anthropometric measurement (am)-face paradigmcorrelations between voice and face geometry
发现论文，激发创造
  • 跨模态感知者：能否从声音中获取面部几何信息？

    该论文研究了声音是否可以描绘出人脸的几何形状，提出了一种跨模态感知的分析框架，包括有监督和无监督学习，并构建了一个包含配对声音和面部网格的数据集，最终通过视觉和数字分析探究了这一核心问题。

    Mar, 2022

  • 音素和面貌的隐秘舞蹈：揭示音素与面部特征之间的神秘关联

    本研究揭示了音位和面部特征之间的神秘联系，通过提出细粒度的语音 - 面部关系分析流程，证实了元音比辅音更容易通过行气和面部运动来预测面部人体测量学属性，并为未来研究语音 - 面部多模式学习奠定了基础。

    Jul, 2023

  • 寻找声音的形状：学习声音 - 面孔关联的自适应框架

    本文提出了一个基于全局和局部信息的定位框架，其中引入了全局 loss 来处理学习困难度问题，并提出了动态重新加权机制来探索较难但有价值的身份。通过配对测试，验证和检索任务的实验，表明所提方法优于以往的方法。

    Mar, 2021

  • 通过受控自编码器生成与声音相对应的人脸

    本研究提出了一种基于先前学习到的语音 - 面部相关性的引导自编码器框架，通过将目标面孔形态学变换来匹配语音信息，显著提高了人脸检索和识别的准确性。

    Jul, 2021

  • AVFace: 面向详细的音频视觉 4D 人脸重建

    该研究提出了一种基于多模态的方法来实现从单目视频中进行 4D 人脸重建，并使用 AVFace 技术准确地重构任何人的面部和唇部运动，而无需任何 3D 地面真实测试。

    Apr, 2023

  • Speech2Face：学习声音背后的面容

    本研究旨在利用数百万自然互联网 / YouTube 视频中的人物语音，建立和训练一个深度神经网络模型，以在不需要明确建模人物面部外貌特征的情况下，从个人短音频录音中重建面部图像，通过自我监督，研究模型如何识别人物的年龄、性别和种族。

    May, 2019

  • 学习面孔和声音的关联

    本文研究人类面孔与声音之间的关联，通过在线研究，在新建数据集上证实人们可以将未见过的面孔与对应的声音相关联，并且我们计算建模了面孔和声音之间的重叠信息，表明该跨模态表示包含足够的信息来识别匹配的面孔和声音，并且此表征具有与某些人口属性和从单一视觉或听觉模式获取的特征的相关性，我们发布了我们的音视数据集和人们朗读短文的人口学注释。

    May, 2018

  • 将声音与图像结合以确定视频中的发言者

    本文提出了一种音视频关联系统，将音频和视觉信号的信息融合，通过对视频中的统计数据的聚合实现面部和声音的有效关联，无需针对此任务的具体训练数据，并利用音频和视觉流中信息的自然相干性，特别适用于跟踪网络视频中的说话人，通过对真实数据集的实验表明，该方法的准确率约为 71％。

    May, 2017

  • 从语音中学习地标运动以获取说话人不可知的 3D 语音生成

    本篇研究提出了一种新方法，通过音频输入生成 3D 说话人头部动画，并利用面部的传动部位上的控制点来描述语音相关的运动，并利用两个不同的模型来实现；该方法具有身份不相关性，可实现任何用户的高质量面部动画。利用陆标在 3D 说话人头部动画生成中提供了各种优点，例如一致性，可靠性和不需要手动注释。

    Jun, 2023

  • 跨模态说话人验证和识别：多语种视角

    本文介绍建立跨语言讲者的面孔和声音之间的关联，在多语言中回答面声关联是否是语言无关的，以及展示在多语言环境下语音特征识别的实验。

    Apr, 2020