本研究提出一个基于对话、槽位和单词水平的对比学习框架来显式对齐跨语言口语理解中隐含语义结构的多语种混合方法，通过引入硬负样本和标签关联联合模型，取得了两个零 - shot 跨语言口语理解的基准数据集中显著的性能改进。

May, 2022

本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

Feb, 2022

提出了一种多级多粒度的语音语义理解（SLU）框架 MMCL，应用对比学习在话语级、槽位级和词级三个层级上，实现意图和槽位之间的互相引导，通过对公开的多意图 SLU 数据集的实验结果和进一步分析，证明了模型取得了新的最先进结果，在 MixATIS 数据集上的整体准确率相比之前最好的模型提高了 2.6 个百分点。

May, 2024

局部感知图对比学习 (LACL) 是一种自监督学习框架，通过基于掩膜的建模补充性地捕捉局部图信息，相对于纯粹的对比学习，有效解决了在应用于图数据时过于强调全局模式而忽略局部结构的问题。实验结果验证了 LACL 方法优于当前最先进方法，展示了其作为一种全面的图表示学习器的潜力。

Feb, 2024

本文提出了一种 GLSCL 任务，旨在促进全局 - 局部对齐和局部 - 局部对齐，该任务包括 MGSC 和 MLTC，可通过跨模式交互补充掩码数据的缺失语义并恢复全局和局部特征，实验结果显示，该方法在多种视觉语言基准测试中获得了最先进的性能。

Jun, 2023

零射击跨语言口语理解的最新模型进行了跨语言无监督对比学习，以实现每个话语与其代码切换数据之间的标签不可知的语义对齐。然而，它忽视了宝贵的意图 / 槽标签，其标签信息有望帮助捕捉标签感知的语义结构，然后利用监督对比学习来改进源语言和目标语言的语义。在本文中，我们提出了混合和合作对比学习来解决这个问题。除了跨语言无监督对比学习外，我们设计了一个全面的方法，能够综合地利用源语言的监督对比学习、跨语言的监督对比学习和多语言的监督对比学习来进行标签感知的语义对齐。每种监督对比学习机制都包括单任务和联合任务场景。在我们的模型中，一个对比学习机制的输入通过其他机制得到增强。因此，在训练过程中，这四种对比学习机制共同学习，形成一个良性循环，得到更一致和有区别性的表示。实验证明我们的模型在 9 种语言上获得了一致的改善，达到了最新的最佳性能。

May, 2024

该论文提出了一种 FCCL 方法，通过跨模态多粒度对比学习来实现显式知识转移，该方法在多语言和多粒度上显著优于 E2E-ST 基线，有助于提取包含丰富语义信息的语音表示。

Apr, 2023

提出了一种利用对比学习进行多语言语音和声音表示学习的新框架，旨在通过减少数据依赖性、改善各种语言和条件下的泛化能力，实现多语言共享表示，以便在有限的目标语言数据中促进跨语言转移。通过从多语言数据中自我监督学习情感表示，该方法在情感识别、音频分类和检索基准测试中展示了最先进的性能，为获得跨语言和声学条件下的共享和泛化语音表示提供了一种有效的方法。

Oct, 2023

提出了基于全局和局部特征表示的多网络对比学习框架，通过多个网络引入自监督对比学习的全局和局部特征信息，并通过对比由多个网络生成的嵌入对来学习图像不同尺度上的特征信息，并扩展对比样本数，提高了模型的训练效率。在三个基准数据集上的线性评估结果表明，我们的方法优于几种现有的经典自监督学习方法。

Jun, 2023

我们提出了一种局部结构感知的图对比学习方法 (LS-GCL)，用于从多个视角建模节点的结构信息，并且通过多层对比损失函数来优化模型，实验结果表明我们的方法在节点分类和链接预测任务上均优于最先进的图表示学习方法。

Aug, 2023