提出了一种多级多粒度的语音语义理解（SLU）框架 MMCL，应用对比学习在话语级、槽位级和词级三个层级上，实现意图和槽位之间的互相引导，通过对公开的多意图 SLU 数据集的实验结果和进一步分析，证明了模型取得了新的最先进结果，在 MixATIS 数据集上的整体准确率相比之前最好的模型提高了 2.6 个百分点。

May, 2024

零射击跨语言口语理解的最新模型进行了跨语言无监督对比学习，以实现每个话语与其代码切换数据之间的标签不可知的语义对齐。然而，它忽视了宝贵的意图 / 槽标签，其标签信息有望帮助捕捉标签感知的语义结构，然后利用监督对比学习来改进源语言和目标语言的语义。在本文中，我们提出了混合和合作对比学习来解决这个问题。除了跨语言无监督对比学习外，我们设计了一个全面的方法，能够综合地利用源语言的监督对比学习、跨语言的监督对比学习和多语言的监督对比学习来进行标签感知的语义对齐。每种监督对比学习机制都包括单任务和联合任务场景。在我们的模型中，一个对比学习机制的输入通过其他机制得到增强。因此，在训练过程中，这四种对比学习机制共同学习，形成一个良性循环，得到更一致和有区别性的表示。实验证明我们的模型在 9 种语言上获得了一致的改善，达到了最新的最佳性能。

May, 2024

本文介绍如何通过在多语言之间传递数据以减少成本，从而提高对新语言的口语理解系统。我们的多任务 SLU 框架在不同语言上经过评估，结果表明我们的单语言模型优于最先进的技术，我们可以大大减少引导新语言口语理解系统所需的数据量，同时，虽然多任务训练比单独训练要好，但不同的权重转移设置可能对不同的 SLU 模块最有效。

Apr, 2019

本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

Feb, 2022

通过互相学习和大间距对比学习，提出一种新的框架 ML-LMCL 来提高自动语音识别在对话系统中口语理解的鲁棒性。通过在手动转录和自动识别转录之间共享知识，引入距离极化正则化器以尽量避免推开簇内成对样本，使用周期性退火调度缓解 KL 关于消失问题，并在三个数据集上表明 ML-LMCL 模型胜过现有模型并获得最新的性能。

Nov, 2023

本文提出了一种利用对比目标、监督对比学习和自蒸馏相结合的方法来学习对语音识别中的错误具有鲁棒性的话语表示，并进一步增强了其泛化能力。在三个基准数据集上的实验表明了我们提出的方法的有效性。

May, 2022

提出了一种名为 Co-guiding Net 的新模型，采用两阶段框架实现了两个任务之间的相互引导，并且通过异构图注意网络有效地表示语义节点和标签节点之间的关系，并进一步利用对比学习提高模型性能。

Nov, 2023

我们提出了一种用于零样本跨语言口语理解的 Intra-Inter 知识蒸馏框架（I$^2$KD-SLU），该框架模拟了意图和槽位之间的相互引导，在 MultiATIS++ 数据集上显著提高了性能并取得了新的最优结果。

Oct, 2023

该研究提出了一种全局 - 局部对比学习框架来解决现有模型仅能隐式对齐跨语言语音理解的问题，该框架通过使用对比学习和双语字典构建多语言视图，并通过局部和全局组件实现了细粒度跨语言转移，实验证明 GL-CLeF 方法取得了最佳性能。

Apr, 2022

本研究提出了一种基于多任务学习的语言模型，其共享语言的语法表示，从而利用语言学信息并解决低资源数据问题，通过同时学习语言建模和语音标记来识别代码切换点的位置并改进下一个词的预测，实验表明该方法在 SEAME Phase I 和 Phase II 数据集上的困惑度分别提高了 9.7% 和 7.4%，优于基于标准 LSTM 的语言模型。

May, 2018