本文介绍建立跨语言讲者的面孔和声音之间的关联，在多语言中回答面声关联是否是语言无关的，以及展示在多语言环境下语音特征识别的实验。

Apr, 2020

本文提出了一种针对时尚多种异构任务的多任务高效学习方法 ——FAME-ViL，该方法通过引入跨注意力适配器和任务特定适配器到统一的 V+L 模型中，加上稳定而有效的多任务训练策略，能够显著地提高参数效率和任务性能。

Mar, 2023

本文研究人类面孔与声音之间的关联，通过在线研究，在新建数据集上证实人们可以将未见过的面孔与对应的声音相关联，并且我们计算建模了面孔和声音之间的重叠信息，表明该跨模态表示包含足够的信息来识别匹配的面孔和声音，并且此表征具有与某些人口属性和从单一视觉或听觉模式获取的特征的相关性，我们发布了我们的音视数据集和人们朗读短文的人口学注释。

May, 2018

利用对比学习和二分类问题，通过多模态编码器学习内嵌信息，引入有效的配对选择方法，提高语音 - 面部关联的匹配、验证和检索任务的学习结果。

Apr, 2024

该研究关注机器生成翻译的正式程度，并介绍了 FAME-MT 数据集，该数据集包含 112 个欧洲语言对之间的 1120 万个翻译样本，旨在通过该数据集在欧洲目标语言中调整机器翻译模型的正式程度。

May, 2024

通过提出细粒度的音视频联合表示学习框架 (FAVOR)，同时感知音频和视觉输入流中的语音、音频事件以及图像或视频，利用因果关注模块增强音视频帧之间的因果关系捕捉，在音频、语音和图像任务上取得了有竞争力的单模态性能，并在需要细粒度信息或时间因果推理的视频问答任务上实现了超过 20% 的准确度改进，表现出了出色的视频理解和推理能力。

Oct, 2023

本文研究了跨模态匹配，通过使用静态图像的人脸识别和声纹识别作为训练和测试数据集，使用 CNN 架构进行了二进制和多元交叉模态人脸和音频匹配，并比较了动态和静态测试，得出了 CNN 在此任务上表现优秀并超越了人类表现。

Apr, 2018

本文提出了一种音视频关联系统，将音频和视觉信号的信息融合，通过对视频中的统计数据的聚合实现面部和声音的有效关联，无需针对此任务的具体训练数据，并利用音频和视觉流中信息的自然相干性，特别适用于跟踪网络视频中的说话人，通过对真实数据集的实验表明，该方法的准确率约为 71％。

May, 2017

本文提出了一种基于卷积神经网络的学习框架，通过融合面部和音频线索，实现了自动说话人命名，并证明了该系统在不需要面部跟踪、面部标记定位或字幕 / 转录的情况下，可以在两个不同的电视剧中实现最先进的说话人命名性能。

Jul, 2015

针对如今深度学习技术生成的深度伪造技术的滥用所带来的严重安全和隐私问题，本研究提出了 FakeAVCeleb 这一包含视频和相应的合成唇同步伪造音频的新型多模态 Audio-Video Deepfake 数据集，其有助于打破现存音频和视频上的种族偏见，进一步帮助发展多模态深度伪造检测器。

Aug, 2021