ACLApr, 2021

端到端语音翻译的源目标双向知识蒸馏

PDF
TL;DR本文提出了一种基于知识蒸馏的方法来提高端到端语音翻译模型的性能，并探讨了正反向模型、自回归和非自回归模型下的性能提升情况。
end-to-end speech translationknowledge distillationneural machine translationsource languagebidirectional
发现论文，激发创造
  • 知识蒸馏技术下的端到端语音翻译

    本文提出了一种基于知识蒸馏的方法来提高端到端语音翻译 (ST) 模型的性能，通过从文本翻译模型中转移知识来训练 ST 模型。在英法增广 LibriSpeech 和英汉 TED 语料库上的实验结果表明，使用该方法可以对相似和不相似的语言对进行端到端 ST 实现，并且在老师模型的指导下，端到端 ST 模型可以取得 3.5 个 BLEU 分数的显着提升。

    Apr, 2019

  • 基于模仿学习知识蒸馏和合成文本的端到端语音翻译改进

    本文介绍了一种基于模仿学习的方法来纠正自动转录的音频输入和自动翻译的文本输出中存在的错误，通过使用这种方法，可以在英语 - 德语 CoVoST-2 和 MuST-C 数据集上优化大约 4 个 BLEU 点的 AST 结果。

    Jul, 2023

  • 自我知识蒸馏中的前后向查看：双向解码器用于神经机器翻译

    介绍了一种使用自我知识蒸馏和双向解码的神经机器翻译模型，使用这种方法可以鼓励自回归 NMT 模型提前规划，实验表明该方法在多个机器翻译数据集上比强 Transformer 基线方法显著优秀。

    Mar, 2022

  • 非参数知识蒸馏在端到端语音翻译中的解耦

    无需转录，用非参数存储库从数据角度提高语音翻译数据效率

    Apr, 2023

  • 序列级知识蒸馏

    本文介绍了在神经机器翻译中应用知识蒸馏技术，包括传统的单词级别预测和两种新的序列级知识蒸馏模型。在现有最优模型的基础上，我们的学生模型在运行速度增加的同时，表现损失不大。此外，通过权重剪枝，还极大地减小了模型的参数数量。

    Jun, 2016

  • 知识蒸馏的端到端语音翻译：FBK@IWSLT2020

    本文介绍了 FBK 参加 IWSLT 2020 离线语音翻译任务的方法和成果，使用基于 Transformer 模型的端到端系统，并运用了 ASR 预训练、数据增强、多任务学习等技术，最佳 BLEU 得分达到 29，优于最近相关研究。

    Jun, 2020

  • 多语言端到端语音翻译

    本文提出了一种简单且有效的多语言端到端语音翻译框架，并证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性以及相对于双语端到端语音翻译的优势。

    Oct, 2019

  • 可解释性端到端语音翻译：通过操作序列生成进行校准，写入和重新排序

    本文提出一种将自动语音识别和语音翻译集成生成的方法，允许生成同时满足单调字幕和非单调翻译的操作序列，以实现对语音输入的实时解释。

    Nov, 2022

  • 无参数领域自适应端到端语音翻译

    本文提出了一种基于领域特定文本翻译语料库的非参数方法，用于增强 E2E-ST 系统在领域自适应中的效果，实验结果表明，相比于强烈的领域内微调方法，该方法在所有翻译方向上的平均基线 BLEU 值提高了 12.82 BLEU，甚至超过了强大的领域内微调方法。

    May, 2022

  • 从零开始重新审视端到端的语音到文本翻译

    本文通过重新审视机器翻译中的 ST 和文本翻译任务技术，提出了一套训练 E2E ST 系统的最佳实践，其中包括参数化距离惩罚、模拟本地化技术等。实验表明，在不使用转录文本和预训练的情况下，该系统可以达到并甚至超过之前使用预训练方法的研究水平，对于极低资源环境依然有差距。此外，我们还首次证明了神经声学特征建模的可行性，并在 ST 任务中取得了令人鼓舞的效果。

    Jun, 2022