ACLJun, 2021

跨语言细调的一致性正则化

PDF
TL;DR本研究提出采用一致性正则化改进跨语言 fine-tuning 的方法，通过示例一致性正则化对子词采样、高斯噪声、代码切换和机器翻译四种数据增广方式的敏感性进行惩罚，并采用模型的一致性正则化方法对同一训练集上经过增广的两个版本的模型进行规范化。在 XTREME 基准测试中，实验结果表明，我们的方法显着提高了跨语言 fine-tuning 在各种任务中的性能，包括文本分类、问题回答和序列标注。
发现论文，激发创造
  • 利用跨语言一致性正则化提升零样本多语言神经机器翻译

    本文介绍了一种跨语言一致性正则化方法 CrossConST，用于在多语言神经机器翻译模型中实现零 - shot 翻译，以实现不同语言之间的普适表示，并提高翻译性能。实验结果证明 CrossConST 能够提高模型的翻译性能并降低句子表示间的差距，为未来的多语言 NMT 研究奠定了基础。

    May, 2023

  • 端到端语音到文本翻译中一致性正则化的实证研究

    通过经验研究，本文针对端到端语音转文本翻译提出了两种训练策略：SimRegCR 和 SimZeroCR，以实现一致性正则化的最新性能。在 MuST-C 基准测试中，在大多数翻译方向上，我们的方法取得了最先进的性能。分析证明，由内部一致性带来的正则化对于常规的端到端语音转文本翻译至关重要，而跨模态一致性可消除模态差异并提升零 - shot 端到端语音转文本翻译性能。

    Aug, 2023

  • HIT-SCIR 在 MMNLU-22 的多语言口语理解中的一致性规范化

    本文提出使用基于混合数据增强策略的一致性正则化方法来提高多语言口语理解任务中意图检测和 slot 填充两个子任务的性能，实验结果表明该方法在 MASSIVE 数据集上的表现有明显的提升，在 MMNLU-22 竞赛的全数据集设置中排名第一。

    Jan, 2023

  • 一致性正则化可提高标签噪声下的鲁棒性

    本论文实验证明，鼓励一致性规则的简单损失函数可以显著提高模型对噪声标签的鲁棒性。

    Oct, 2021

  • 图像到图像转换的半监督范式 —— 变换一致性正则化

    本研究提出了一种基于几何变换的一致性约束正则化半监督图像翻译算法，在图像着色、去噪和超分辨率等数据敏感任务中，表现出仅需约 10-20% 有标注样本数量就能与标注样本量一样优秀的表现，同时可在视频处理任务中大幅提升质量。

    Jul, 2020

  • 双重对比一致性的小样本文本分类

    本文研究了如何使用预训练的语言模型进行少样本文本分类，提出了一种基于有限标注数据的监督对比学习和大量无标注数据的一致性约束方法，并且提出一种新的对比一致性来改善模型性能。在四个数据集上的实验证明，我们的模型 (FTCC) 可以胜过现有的最佳方法并且具有更好的鲁棒性。

    Sep, 2022

  • 半监督学习的对比正则化

    本文中提出的聚类特征对比正则化方法在半监督学习中取得了最先进的结果，通过聚类伪标签的归属特征来更新模型，以便更有效地将标记信息传播到更多未标记样本。

    Jan, 2022

  • 正则化表示对齐下的跨语言口语理解

    本篇论文提出了一种基于正则化和对抗训练的跨语言模型，能够在口语理解系统中实现单词层面和句子层面的跨语言表示对齐，并在少量数据和零样本情况下实现比当前最先进方法更好的性能表现。

    Sep, 2020

  • 利用表示一致性目标提高语言模型微调

    本研究提出了一种新的 fine-tuning 方法，通过抑制表示中不必要的变化来避免表示坍塌，同时对此进行了度量，并在 13 个任务和低数据量及数据标签扰动的情况下得到了显著的性能提高。

    May, 2022

  • ConNER: 跨语言命名实体识别的一致性训练

    通过提出 ConNER 一种新型一致性训练方法，习得一个对扰动和数据具有鲁棒性的模型，该方法通过对标注和未标注数据的翻译和丢失操作的表现进行一致性训练，提高了跨语言自适应性能，并在各种基线方法上取得了一致的改进效果。

    Nov, 2022