持续对比式口语理解

Oct, 2023

Continual Contrastive Spoken Language Understanding

Umberto Cappellazzo, Enrico Fini, Muqiao Yang, Daniele Falavigna, Alessio Brutti...

TL;DR通过结合经验回放和对比学习的组合方法 COCONUT，我们研究了在渐增式学习（CIL）设置中学习序列到序列模型用于口语理解的问题，并通过对基于重放样本的修改的标准监督对比损失，使 COCONUT 通过将相同类别的样本拉近并推开其他样本来保留学习到的表示。此外，我们还利用一种多模态对比损失，通过对齐音频和文本特征帮助模型学习更具辨别性的表示新数据。我们还研究了不同的对比设计，以将对比损失的优势与用于蒸馏的教师 - 学生架构相结合。在两个已建立的 SLU 数据集上的实验证明了我们提出方法的有效性，并且比基准模型有显著的改进。我们还表明 COCONUT 可以与在模型的解码器端操作的方法结合使用，从而进一步改进指标。

Abstract

Recently, neural networks have shown impressive progress across diverse fields, with speech processing being no exception. However, recent breakthroughs in this area require extensive offline training using large datasets and tremendous computing resources. Unfortunately, these models

neural networks class-incremental learning coconut contrastive learning spoken language understanding

发现论文，激发创造

Co$^2$L：对比连续学习

本文发现在连续学习的情境中，通过对比学习方法学习到的表示对抗遗忘更加鲁棒，基于该观察，我们提出了一种基于重复学习的算法，该算法着重于持续学习和维护可转移的表示，并在常见的基准图像分类数据集上进行了广泛实验验证，该方法取得了最新的最佳性能。

Jun, 2021

CoNT: 对比神经文本生成

本文提出了一种新的对比学习框架 CoNT，它从对比示例、对比损失和解码策略三个方面解决了对比学习在生成任务中使用的瓶颈问题，实验结果表明 CoNT 在机器翻译、数据摘要、代码注释生成等十个基准测试中都表现出优异的表现，特别是在摘要生成任务上达到了新的最好结果。

May, 2022

对比学习：提高口语理解的 ASR 鲁棒性

本文提出了一种利用对比目标、监督对比学习和自蒸馏相结合的方法来学习对语音识别中的错误具有鲁棒性的话语表示，并进一步增强了其泛化能力。在三个基准数据集上的实验表明了我们提出的方法的有效性。

May, 2022

面向跨语言口语理解的标签感知多层对比学习

本研究提出一个基于对话、槽位和单词水平的对比学习框架来显式对齐跨语言口语理解中隐含语义结构的多语种混合方法，通过引入硬负样本和标签关联联合模型，取得了两个零 - shot 跨语言口语理解的基准数据集中显著的性能改进。

May, 2022

基于对比学习和一致性学习的神经噪声通道模型在口语理解中的应用

基于语音识别的自然语言理解方法和两阶段的对比一致性学习模型能够提高在不同噪声环境下的自动语音识别的鲁棒性。

May, 2024

CLARA：音频表征获取的多语言对比学习

提出了一种利用对比学习进行多语言语音和声音表示学习的新框架，旨在通过减少数据依赖性、改善各种语言和条件下的泛化能力，实现多语言共享表示，以便在有限的目标语言数据中促进跨语言转移。通过从多语言数据中自我监督学习情感表示，该方法在情感识别、音频分类和检索基准测试中展示了最先进的性能，为获得跨语言和声学条件下的共享和泛化语音表示提供了一种有效的方法。

Oct, 2023

前瞻性选择性可塑性实现视觉任务的持续学习

通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

Nov, 2023

可证明的对比式继续学习

通过对前一任务的训练损失进行理论分析建立了性能保证的理论解释并提出了一种新的自适应蒸馏系数的对比式连续学习算法 CILA，该算法在标准基准测试中取得了显著的改进和最新的最佳性能。

May, 2024

HC^2L：混合合作对比学习用于跨语言口语理解

零射击跨语言口语理解的最新模型进行了跨语言无监督对比学习，以实现每个话语与其代码切换数据之间的标签不可知的语义对齐。然而，它忽视了宝贵的意图 / 槽标签，其标签信息有望帮助捕捉标签感知的语义结构，然后利用监督对比学习来改进源语言和目标语言的语义。在本文中，我们提出了混合和合作对比学习来解决这个问题。除了跨语言无监督对比学习外，我们设计了一个全面的方法，能够综合地利用源语言的监督对比学习、跨语言的监督对比学习和多语言的监督对比学习来进行标签感知的语义对齐。每种监督对比学习机制都包括单任务和联合任务场景。在我们的模型中，一个对比学习机制的输入通过其他机制得到增强。因此，在训练过程中，这四种对比学习机制共同学习，形成一个良性循环，得到更一致和有区别性的表示。实验证明我们的模型在 9 种语言上获得了一致的改善，达到了最新的最佳性能。

May, 2024

多层次多粒度对比学习驱动口语理解

提出了一种多级多粒度的语音语义理解（SLU）框架 MMCL，应用对比学习在话语级、槽位级和词级三个层级上，实现意图和槽位之间的互相引导，通过对公开的多意图 SLU 数据集的实验结果和进一步分析，证明了模型取得了新的最先进结果，在 MixATIS 数据集上的整体准确率相比之前最好的模型提高了 2.6 个百分点。

May, 2024