Mar, 2021

寻找声音的形状：学习声音 - 面孔关联的自适应框架

PDF
TL;DR本文提出了一个基于全局和局部信息的定位框架，其中引入了全局 loss 来处理学习困难度问题，并提出了动态重新加权机制来探索较难但有价值的身份。通过配对测试，验证和检索任务的实验，表明所提方法优于以往的方法。
voice-face associationmodality alignmentglobal lossidentity classificationdynamic reweighting
发现论文，激发创造
  • 对齐之后融合：通过多模态编码器来提高人脸 - 声音相关性学习

    利用对比学习和二分类问题，通过多模态编码器学习内嵌信息，引入有效的配对选择方法，提高语音 - 面部关联的匹配、验证和检索任务的学习结果。

    Apr, 2024

  • 学习面孔和声音的关联

    本文研究人类面孔与声音之间的关联，通过在线研究，在新建数据集上证实人们可以将未见过的面孔与对应的声音相关联，并且我们计算建模了面孔和声音之间的重叠信息，表明该跨模态表示包含足够的信息来识别匹配的面孔和声音，并且此表征具有与某些人口属性和从单一视觉或听觉模式获取的特征的相关性，我们发布了我们的音视数据集和人们朗读短文的人口学注释。

    May, 2018

  • 跨模态说话人验证和识别：多语种视角

    本文介绍建立跨语言讲者的面孔和声音之间的关联，在多语言中回答面声关联是否是语言无关的，以及展示在多语言环境下语音特征识别的实验。

    Apr, 2020

  • 记忆中的多模态联想桥接：从面部视频中回溯语音声音

    本文提出了一种新颖的音频 - 视觉多模态桥接框架，它可以利用音频和视觉信息，并通过 associative bridge 从记忆网络中获取目标模态表示，将其应用于唇语阅读和静音视频的语音重建，具有当前最先进性能。

    Apr, 2022

  • 多模态相关性学习：用于主动说话人检测和语音增强的方法

    提出了一个统一框架，通过视听联合建模来实现目标说话人检测和语音增强，以建立音频 - 视觉任务中的多模态关联。

    Mar, 2022

  • 重新思考声音和面部相关性：几何视角

    从几何学的角度而不是语义信息来重建声音到三维面部形状的能力进行研究，通过使用声音测量 - 面部范例识别可预测的面部测量特征并将其用于指导三维面部重建，消除了无法预测的面部测量特征的影响，从而使得面部几何学可操作。在我们提出的数据集上进行模型评估，发现声音与面部几何特征的特定部位（如鼻腔和颅骨）之间存在显著相关性，为声音 - 面部相关性提供了新的视角，并可作为人类测量学科的实证研究。

    Jul, 2023

  • 通过受控自编码器生成与声音相对应的人脸

    本研究提出了一种基于先前学习到的语音 - 面部相关性的引导自编码器框架，通过将目标面孔形态学变换来匹配语音信息，显著提高了人脸检索和识别的准确性。

    Jul, 2021

  • 将声音与图像结合以确定视频中的发言者

    本文提出了一种音视频关联系统，将音频和视觉信号的信息融合，通过对视频中的统计数据的聚合实现面部和声音的有效关联，无需针对此任务的具体训练数据，并利用音频和视觉流中信息的自然相干性，特别适用于跟踪网络视频中的说话人，通过对真实数据集的实验表明，该方法的准确率约为 71％。

    May, 2017

  • 视音频生物特征匹配

    本文研究了跨模态匹配，通过使用静态图像的人脸识别和声纹识别作为训练和测试数据集，使用 CNN 架构进行了二进制和多元交叉模态人脸和音频匹配，并比较了动态和静态测试，得出了 CNN 在此任务上表现优秀并超越了人类表现。

    Apr, 2018

  • VisualVoice: 跨模态一致性的音视频语音分离

    提出一种基于面部出现和声音特征对语音进行分离的方法，可对五种基准数据集进行音视频语音分离和增强，而且具有较好的泛化性能。

    Jan, 2021