本文研究了跨模态匹配，通过使用静态图像的人脸识别和声纹识别作为训练和测试数据集，使用CNN架构进行了二进制和多元交叉模态人脸和音频匹配，并比较了动态和静态测试，得出了CNN在此任务上表现优秀并超越了人类表现。

Apr, 2018

本文提出并研究了一种敏感于身份的面部和声音联合嵌入，该嵌入可以从声音到面部和从面部到声音进行交叉模态检索，并展示了使用该联合嵌入自动检索和标记电视剧角色的应用。

May, 2018

本文旨在学习说话者身份的表示，利用自我监督学习目标，在视频中通过面部和音频之间的自然跨模态同步来实现。通过构建一个共享低级特征且提供自然机制来明确区分语言内容和说话者身份的双流架构，从而在大规模的“野外”对话者数据集上进行训练，并展示了其对于标准说话者识别性能的良好效果。

Feb, 2020

文中介绍了一种自监督学习方法，通过交叉模态辨别视频和音频来学习视听表征，其采用对比学习方法来进行。该方法通过优化交叉模态辨别而非内部模态辨别，可以学习到来自视频和音频的良好表征，并可于行动识别任务中获得高竞争性能。同时，文中提到该方法采用交叉模态协同度量相似性，构造更好的正负样本集合，从而实现了对可视相似度的校准。

Apr, 2020

提出一种基于面部出现和声音特征对语音进行分离的方法，可对五种基准数据集进行音视频语音分离和增强，而且具有较好的泛化性能。

Jan, 2021

本文提出了一个基于全局和局部信息的定位框架，其中引入了全局loss来处理学习困难度问题，并提出了动态重新加权机制来探索较难但有价值的身份。通过配对测试，验证和检索任务的实验，表明所提方法优于以往的方法。

Mar, 2021

本文介绍了一种自监督学习方法，以学习音频和视频表征，并通过行动识别任务的实验验证了其解决音频-视觉实例区别问题和提高迁移学习性能的贡献。

Mar, 2021

利用预训练的多模态对比表示空间可以从单模态数据中学习跨模态任务，我们提供了这个空间几何的理论解释，并引入了一个三步方法（连接、降维、破坏）来缩小模态差距，增强嵌入的互换性，实现了从单模态数据中有效地进行跨模态学习，取得了零样本图像/音频/视频字幕和文本到图像生成的最新成果。

Jan, 2024

利用对比学习和二分类问题，通过多模态编码器学习内嵌信息，引入有效的配对选择方法，提高语音-面部关联的匹配、验证和检索任务的学习结果。

Apr, 2024

本研究针对多语言环境中人脸与声音的关联问题，提出了一种基于对比学习的链聚类方法，以增强人脸声音的关联性。我们的研究采用监督的交叉对比学习建立多语言场景下的鲁棒关联，并通过链聚类后处理步骤减少无约束数据中的异常值影响。实验结果表明，该方法在FAME2024挑战中表现优异，位列第二，验证了其鲁棒性和有效性。

Aug, 2024