May, 2024

HC^2L：混合合作对比学习用于跨语言口语理解

PDF
TL;DR零射击跨语言口语理解的最新模型进行了跨语言无监督对比学习，以实现每个话语与其代码切换数据之间的标签不可知的语义对齐。然而，它忽视了宝贵的意图 / 槽标签，其标签信息有望帮助捕捉标签感知的语义结构，然后利用监督对比学习来改进源语言和目标语言的语义。在本文中，我们提出了混合和合作对比学习来解决这个问题。除了跨语言无监督对比学习外，我们设计了一个全面的方法，能够综合地利用源语言的监督对比学习、跨语言的监督对比学习和多语言的监督对比学习来进行标签感知的语义对齐。每种监督对比学习机制都包括单任务和联合任务场景。在我们的模型中，一个对比学习机制的输入通过其他机制得到增强。因此，在训练过程中，这四种对比学习机制共同学习，形成一个良性循环，得到更一致和有区别性的表示。实验证明我们的模型在 9 种语言上获得了一致的改善，达到了最新的最佳性能。
zero-shot cross-lingual spoken language understandingcontrastive learninglabel-aware semanticssupervised contrastive learningmultilingual
发现论文，激发创造
  • 面向跨语言口语理解的标签感知多层对比学习

    本研究提出一个基于对话、槽位和单词水平的对比学习框架来显式对齐跨语言口语理解中隐含语义结构的多语种混合方法，通过引入硬负样本和标签关联联合模型，取得了两个零 - shot 跨语言口语理解的基准数据集中显著的性能改进。

    May, 2022

  • HierarchicalContrast：一个用于跨领域零样本槽位填充的粗到精对比学习框架

    在任务导向的对话场景中，跨领域零样本槽填充在利用源领域知识学习高泛化能力模型的同时，在未标注数据的未知目标领域中起到至关重要的作用。然而，现有最先进的零样本槽填充方法在目标领域中的泛化能力有限，只对已见槽显示有效的知识转移，在未见槽上表现不佳。为了缓解这一问题，我们提出了一种新颖的分层对比学习框架（HiCL）用于零样本槽填充。具体而言，我们提出了一种基于高斯分布嵌入的粗细粒度对比学习方法，以学习语句标记之间的广义深层语义关系，通过优化之间和之内的标记分布距离。这促使 HiCL 在训练阶段泛化到未见的槽类型上。此外，我们提出了一种新的迭代标签集语义推断方法，可以不偏不倚地分别评估在先前的零样本槽填充评估方法中与它们的对应槽类型相纠缠的未见槽类型的性能。对四个数据集的广泛经验性实验证明，所提出的方法的性能与当前最先进的零样本槽填充方法相当甚至更好。

    Oct, 2023

  • 跨语言对齐的多层对比学习

    本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

    Feb, 2022

  • 图像 - 文本 - 标签空间统一的对比学习

    该研究提出了一种新型的学习范式 - 统一对比学习（UniCL），通过将人类标注的图像标签数据和网络爬取的图像文本数据相结合，学习出在零样本，线性探测，完全微调和迁移学习方案中具有语义丰富而有区分性的表示。在各种基准测试中，UniCL 的性能均优于语言图像对比学习和监督学习方法，并且在纯图像标签数据上，其表现也不亚于监督学习方法。

    Apr, 2022

  • 基于大型语言模型的语义感知对照句子表示学习

    通过利用大型语言模型的生成和评估能力，我们提出了 SemCSR，一种语义感知的对比句子表示框架，可以自动构建高质量的 NLI 风格语料库，并将生成的句子对纳入对比句子表示模型的学习，实验证明了我们提出的框架在使用大型语言模型学习更好的句子表示方面的有效性。

    Oct, 2023

  • 基于对比学习的语言无关多语种信息检索

    通过利用平行语料库和非平行语料库，采用对比学习等方法，有效提高了预训练多语言语言模型的跨语言传递能力，同时显著提高了检索性能，且计算成本较低。

    Oct, 2022

  • CLARA：音频表征获取的多语言对比学习

    提出了一种利用对比学习进行多语言语音和声音表示学习的新框架，旨在通过减少数据依赖性、改善各种语言和条件下的泛化能力，实现多语言共享表示，以便在有限的目标语言数据中促进跨语言转移。通过从多语言数据中自我监督学习情感表示，该方法在情感识别、音频分类和检索基准测试中展示了最先进的性能，为获得跨语言和声学条件下的共享和泛化语音表示提供了一种有效的方法。

    Oct, 2023

  • 预训练语言模型微调的监督对比学习

    通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

    Nov, 2020

  • 跨语言学习通用表征

    本文介绍了一种基于 Hierarchical Contrastive Learning 的方法，用于学习句子级别的跨语言表示方法，在 XTREME 任务和机器翻译任务中实验表明，该方法可以显著提高模型准确性。

    Jul, 2020

  • ASR 的对比半监督学习

    本文提出了一种名为对比半监督学习（Contrastive Semi-supervised Learning, CSL）的方法，通过挑选正负样本来替代直接预测教师生成的伪标签，并将其应用于翻译公共社交媒体视频的挑战任务中，从而比标准的交叉熵伪标签（CE-PL）减少了 8% 的 WER。

    Mar, 2021