COLA 是一种基于对比学习的自监督预训练方法，用于学习音频的通用表示，通过在大规模的 Audioset 数据库上进行预训练，使得其在包括语音、音乐、动物声音和声学场景等 9 项分类任务中性能显著优于之前的自监督系统，并进一步通过消融研究指出了关键的设计选择。

Oct, 2020

通过结合经验回放和对比学习的组合方法 COCONUT，我们研究了在渐增式学习（CIL）设置中学习序列到序列模型用于口语理解的问题，并通过对基于重放样本的修改的标准监督对比损失，使 COCONUT 通过将相同类别的样本拉近并推开其他样本来保留学习到的表示。此外，我们还利用一种多模态对比损失，通过对齐音频和文本特征帮助模型学习更具辨别性的表示新数据。我们还研究了不同的对比设计，以将对比损失的优势与用于蒸馏的教师 - 学生架构相结合。在两个已建立的 SLU 数据集上的实验证明了我们提出方法的有效性，并且比基准模型有显著的改进。我们还表明 COCONUT 可以与在模型的解码器端操作的方法结合使用，从而进一步改进指标。

Oct, 2023

本研究旨在探讨通过自然语言与音频之间的跨模态学习实现音乐语义理解任务的方法，提出了一种名为 MusCALL 的框架，采用双重编码器架构进行跨模态学习，实现音频和描述语句的对齐，生成用于文本到音频和音频到文本检索的多模式嵌入，实验表明我们的方法在音频与文本检索任务中比基线方法表现更好，并且可成功扩展应用于流派分类和自动标签的零样本转移场景。

Aug, 2022

通过 ALM 和 CLAP 的训练方法，本研究提出了 CompA，用于评估 ALMs 的组合推理能力，并发现现有的 ALMs 在组合推理方面的表现仅略好于随机选择，而通过改进训练方法和引入模块化对比损失的 CompA-CLAP 显著提高了组合推理能力。

Oct, 2023

本文介绍了一种新的跨模态知识迁移方法，使用组合对比学习来学习复合嵌入，通过学习多模态知识来改善视频表示学习表现。在三个视频数据集上进行的实验表明，该方法显著优于现有的知识蒸馏方法。

Apr, 2021

本篇论文提出一种名为 MixCo 的半阳性对比学习方法，它可以通过学习混合图像的相关相似度，有效提高自我监督学习中的图像表示性能。在实验中，MixCo 在 TinyImageNet、CIFAR10 和 CIFAR100 等基准测试集上一致地提高了测试准确率，且当模型大小等学习能力受限时，改进效果更为显著。

Oct, 2020

本文介绍了 VisCOLL, 一种模拟从流动视觉场景中不断习得组成短语的视觉感知语言学习任务，其使得机器模型习得人类一样的自然语言习得能力，本文构建了两个数据集，用不同的连续学习方法来比较并测试了它们。

May, 2020

本文提出了一种基于对比学习的重新排序框架 COLO，它可以直接根据摘要级别的分数生成摘要，从而提高 CNN/DailyMail 基准的提取和抽象一阶段系统的结果，并保留参数效率和推断效率。

Sep, 2022

本文提出了 CoCoSoDa 的方法，充分利用了对比学习进行代码搜索方面应用的两个关键因素：数据扩充和负样本。该方法使用软数据扩充技术生成正样本，使用动量机制生成一致的负样本表示，使用多模式的对比学习方法，既拉紧了代表代码 - 查询对的表示，又将不成对的代码片段和查询推开。对大型数据集进行的广泛实验表明，该方法的性能显著优于 14 个基线，并在平均 MRR 分数上分别超过 CodeBERT、GraphCodeBERT 和 UniXcoder 的 13.3％、10.5％和 5.9％。

Apr, 2022

本文介绍了一种新颖的歌词对齐系统，使用对抗学习导出跨模态嵌入，不仅训练简单、能使用弱标注数据、学习强大的文本模型，而且可用于多语言和获得了标准数据集下平均绝对误差小于 0.2 秒的最佳结果。

Jun, 2023