Aug, 2024

基于对比学习的多语言声音与人脸关联链聚类

HTML
PDF
TL;DR本研究针对多语言环境中人脸与声音的关联问题，提出了一种基于对比学习的链聚类方法，以增强人脸声音的关联性。我们的研究采用监督的交叉对比学习建立多语言场景下的鲁棒关联，并通过链聚类后处理步骤减少无约束数据中的异常值影响。实验结果表明，该方法在FAME2024挑战中表现优异，位列第二，验证了其鲁棒性和有效性。
发现论文，激发创造
  • 学习面孔和声音的关联

    本文研究人类面孔与声音之间的关联，通过在线研究，在新建数据集上证实人们可以将未见过的面孔与对应的声音相关联，并且我们计算建模了面孔和声音之间的重叠信息，表明该跨模态表示包含足够的信息来识别匹配的面孔和声音，并且此表征具有与某些人口属性和从单一视觉或听觉模式获取的特征的相关性，我们发布了我们的音视数据集和人们朗读短文的人口学注释。

    May, 2018

  • 语音与人脸跨模态匹配的不相交映射网络

    提出了一种新的框架，称为Disjoint Mapping Network (DIMNet)，用于跨模态生物识别匹配，特别是声音和面部。DIMNet通过将它们分别映射到它们的共同协变量，学习了不同模态的共享表示，从而找到模态之间的对应关系，并且证明了DIMNet能够比其他现有方法具有更好的性能，而且在概念上更简单且不需要过多的数据。

    Jul, 2018

  • 跨模态说话人验证和识别：多语种视角

    本文介绍建立跨语言讲者的面孔和声音之间的关联，在多语言中回答面声关联是否是语言无关的，以及展示在多语言环境下语音特征识别的实验。

    Apr, 2020

  • 寻找声音的形状：学习声音-面孔关联的自适应框架

    本文提出了一个基于全局和局部信息的定位框架，其中引入了全局loss来处理学习困难度问题，并提出了动态重新加权机制来探索较难但有价值的身份。通过配对测试，验证和检索任务的实验，表明所提方法优于以往的方法。

    Mar, 2021

  • 跨模态原型对比的无监督语音-脸部表征学习

    本文提出了一种跨模态原型对比学习的方法，该方法通过无监督聚类在不同模式下构建语义上的正样本，并通过比较跨模态实例的相似性来动态重新校准无法学习的实例对总体损失的贡献，最终实验证明，该方法在各种语音-面部相关性评估协议中均优于最先进的无监督方法，并且在低投入监督设置中，与之前的实例级对比学习相比也有显着改进。

    Apr, 2022

  • 对话情绪识别中的聚类级对比学习

    提出了一种低维度的监督聚类级对比学习（SCCL）方法，将高维度的语义空间转换为三维的情感表示空间（VAD），通过聚类对比学习来融合可量化的情绪原型，利用预先训练的知识适配器来丰富上下文和模拟对话，从而在不同的数据集上实现了新的最先进的情感识别结果。

    Feb, 2023

  • CLARA：音频表征获取的多语言对比学习

    提出了一种利用对比学习进行多语言语音和声音表示学习的新框架，旨在通过减少数据依赖性、改善各种语言和条件下的泛化能力，实现多语言共享表示，以便在有限的目标语言数据中促进跨语言转移。通过从多语言数据中自我监督学习情感表示，该方法在情感识别、音频分类和检索基准测试中展示了最先进的性能，为获得跨语言和声学条件下的共享和泛化语音表示提供了一种有效的方法。

    Oct, 2023

  • 2024年多语言环境下的面声关联（FAME）挑战评估计划

    面部-语音相关的多语言环境问题是FAME Challenge 2024探索的主题，利用Multilingual Audio-Visual (MAV-Celeb)数据集来进行研究和评估。

    Apr, 2024

  • 对齐之后融合：通过多模态编码器来提高人脸-声音相关性学习

    利用对比学习和二分类问题，通过多模态编码器学习内嵌信息，引入有效的配对选择方法，提高语音-面部关联的匹配、验证和检索任务的学习结果。

    Apr, 2024

  • 缓解语音模型中的偏见的对比学习方法

    使用对比学习技术来减轻语音模型中的偏差，改善性能不佳的子群体的内部表示，从而降低模型偏差并提升性能。

    Jun, 2024