端到端语音到文本翻译中一致性正则化的实证研究

Aug, 2023

端到端语音到文本翻译中一致性正则化的实证研究

An Empirical Study of Consistency Regularization for End-to-End Speech-to-Text Translation

Pengzhi Gao, Ruiqing Zhang, Zhongjun He, Hua Wu, Haifeng Wang

TL;DR通过经验研究，本文针对端到端语音转文本翻译提出了两种训练策略：SimRegCR 和 SimZeroCR，以实现一致性正则化的最新性能。在 MuST-C 基准测试中，在大多数翻译方向上，我们的方法取得了最先进的性能。分析证明，由内部一致性带来的正则化对于常规的端到端语音转文本翻译至关重要，而跨模态一致性可消除模态差异并提升零 - shot 端到端语音转文本翻译性能。

Abstract

consistency regularization methods, such as R-Drop (Liang et al., 2021) and CrossConST (Gao et al., 2023), have achieved impressive supervised and zero-shot performance in the neural machine translation (NMT) field. Can we also boost end-to-end (E2E) speech-to-text translation (ST) by

consistency regularization end-to-end speech-to-text translation empirical studies training strategies state-of-the-art performance

发现论文，激发创造

利用跨语言一致性正则化提升零样本多语言神经机器翻译

本文介绍了一种跨语言一致性正则化方法 CrossConST，用于在多语言神经机器翻译模型中实现零 - shot 翻译，以实现不同语言之间的普适表示，并提高翻译性能。实验结果证明 CrossConST 能够提高模型的翻译性能并降低句子表示间的差距，为未来的多语言 NMT 研究奠定了基础。

May, 2023

模态适应还是正则化？以端到端语音翻译为例的案例研究

该研究发现，在端到端语音翻译 (E2E ST) 的预训练和微调中，存在语音和文本数据之间的模态差异，但该差异只在微调的早期阶段产生影响。然而，另一个 “容量差距” 则是高资源任务总是需要一个大模型来适应，当模型被重用于低资源任务 (E2E ST) 时，由于过拟合会导致次优性能。研究发现，规范化方法对于优化模型比模态适应方法更加重要，在 MuST-C 数据集上的实验中，可以获得 29.0 (en-de) 和 40.3 (en-fr) 的性能。

Jun, 2023

跨语言细调的一致性正则化

本研究提出采用一致性正则化改进跨语言 fine-tuning 的方法，通过示例一致性正则化对子词采样、高斯噪声、代码切换和机器翻译四种数据增广方式的敏感性进行惩罚，并采用模型的一致性正则化方法对同一训练集上经过增广的两个版本的模型进行规范化。在 XTREME 基准测试中，实验结果表明，我们的方法显着提高了跨语言 fine-tuning 在各种任务中的性能，包括文本分类、问题回答和序列标注。

Jun, 2021

通过跨模态多粒度对比学习提高语音翻译质量

该论文提出了一种 FCCL 方法，通过跨模态多粒度对比学习来实现显式知识转移，该方法在多语言和多粒度上显著优于 E2E-ST 基线，有助于提取包含丰富语义信息的语音表示。

Apr, 2023

使用三角分解协议正则化端到端语音翻译

本文介绍了一种新颖的正则化方法用于 E2E-ST 系统的训练，并在 MuST-C 基准测试中显著优于现有技术，该正则化方法通过对 KL 散度进行约束，以更好地利用音频文字翻译三元组数据。

Dec, 2021

HIT-SCIR 在 MMNLU-22 的多语言口语理解中的一致性规范化

本文提出使用基于混合数据增强策略的一致性正则化方法来提高多语言口语理解任务中意图检测和 slot 填充两个子任务的性能，实验结果表明该方法在 MASSIVE 数据集上的表现有明显的提升，在 MMNLU-22 竞赛的全数据集设置中排名第一。

Jan, 2023

重思和改进端到端语音翻译的多任务学习

通过应用多任务学习，已经在端到端语音翻译中取得了显著的改进。本文研究了不同任务之间的一致性，并提出了一种改进的多任务学习方法，通过缓解长度和表征的差异来弥合模态间的差距。实验证明我们的方法达到了最先进的结果。此外，当使用额外的数据时，我们在 MuST-C 英语到西班牙语任务上以当前最先进方法所需的 20.8% 的训练时间取得了新的最先进结果。

Nov, 2023

基于跨模态选择性自训练的零样本端到端口语理解

本研究提出了一种跨模态选择性自训练的方法，使得在没有语音 - 语义配对数据的情况下能够有效学习端到端的口语理解模型，并且证明了其在两个零样本端到端口语理解训练集上都能显著提高性能、缩短训练时间。

May, 2023

理解和弥合语音翻译的模态差距

本文研究对于 ST 和 MT 之间的通道差，提出了一种名为 Cress 的跨模态规范化方法。通过输出 ST 和 MT 的预测值，使用采样和不同训练权重来处理难以处理的情况，实现了在 MuST-C 数据集的八个方向上取得了显著效果。

May, 2023

逐步推进零尾到尾语音翻译的极限

该论文介绍了一种名为 ZeroSwot 的零样本语音翻译方法，通过利用新颖的 CTC 压缩和最优传输技术，在没有配对的语音翻译数据的情况下，通过仅使用语音识别数据训练语音编码器，实现了语音到文本的直接翻译，展示了该方法在模态差异上的优越性和超越之前的零样本模型以及有监督模型的实验结果，达到了最先进的效果。

Feb, 2024