May, 2023

预训练编码器和解码器之间的有效连接，用于语音翻译

PDF
TL;DR本研究提出了一种互连机制，通过加权求和来聚合语言预训练模型的每一层信息并输入到解码器中，从而提高了 BLEU 大约 2 分，在冻结语言预训练模型时加入了 2K 的参数。此外，我们通过可视化层权重，发现每个语言的每层的贡献是不同的。
end-to-end speech translationpre-trained modelsinter-connection mechanismweighted sumsbleu
发现论文，激发创造
  • 连接预训练与微调：面向端到端语音翻译的差距缩小

    本文提出使用 Tandem Connectionist Encoding Network 解决传统方法在 end-to-end 语音翻译中 fine-tuning 与 pre-training 之间巨大差距的问题，进而设计了两种简单且有效的方法保证语音编码器的输出和 MT 编码器的输入在语义表示和序列长度上一致。通过实验，我们的模型在一个大型基准数据集上优于基线 2.2 BLEU。

    Sep, 2019

  • 基于端到端的语音转文本翻译的比较研究

    本文介绍了深度学习在语音到文本翻译领域的应用，主要研究了不同端到端架构以及辅助性连接主义时间分类（CTC）损失函数的使用，着重探讨了预训练模型对最终性能的影响，实验证明预训练模型可以使 BLEU 指标提高 4％，TER 指标提高 5％，并且在 270 小时 IWSLT TED 演讲 En->De 和 100 小时 LibriSpeech Audiobooks En->Fr 上的实验结果表明，该方法可以超过当前的端到端最先进系统。

    Nov, 2019

  • 多语言机器翻译：缩小共享编码器 - 解码器和语言特定编码器 - 解码器之间的差距

    本文提出了一种针对多语言机器翻译的替代方法，该方法基于特定于语言的编码器 - 解码器，可以更轻松地通过学习相应的模块来扩展到新语言。同时训练初始语言以促进通用 interlingua 表示，实验表明该方法平均优于通用编码器 - 解码器 3.28 BLEU 点，当添加新语言时，无需重新训练其余模块，因此推进了可灵活扩展的模块化多语机器翻译系统的发展。

    Apr, 2020

  • 端到端语音翻译课程预训练

    本研究提出了一个基于课程学习的预训练方法，旨在通过逐步增加难度的课程来加强编码器的语音特征提取能力，实现端到端的语音翻译，实验结果表明，该方法在 En-De 和 En-Fr 语音翻译基准测试中取得了显著的改进。

    Apr, 2020

  • 重新思考编码器层与解码器层之间的自适应关系

    该论文探讨了编码器层和解码器层之间的适应性关系，使用 Helsinki-NLP/opus-mt-de-en 这一最先进模型将德语翻译为英语。具体方法是在编码器和解码器之间引入一个无偏差的全连接层，并对该层的权重进行不同的初始化，观察微调与重新训练的结果。总共进行了四个实验，结果表明直接修改预训练模型结构进行微调效果不佳，然而，观察重新训练实验的结果后，这种结构调整显示出了显著的潜力。

    May, 2024

  • 基于预训练模型的高效语音翻译

    论文探究使用预训练模型构建高效的语音翻译模型，提出基于相似损失的方法以增强数据效率及提高翻译质量。

    Nov, 2022

  • 使用适配器将 BERT 整合到并行序列解码中

    本研究提出了一种通过加入轻量级适配器模块在 BERT 编码器和解码器之间 fine-tuning 来应对语言生成任务的问题，并在神经机器翻译任务上验证了该方法的有效性。

    Oct, 2020

  • 定时多任务学习：从句法到翻译

    提出了一种神经编码器 - 解码器机器翻译模型框架，该模型开始交替学习语法和翻译，逐渐将重点放在翻译上，实现了在相对较大的平行语料库（WMT14 英语到德语）和低资源（WIT 德语到英语）设置中的 BLEU 得分显着提高。

    Apr, 2018

  • 神经机器翻译的密集信息流

    本文提出了一种名为 DenseNMT 的密集连接的神经机器翻译 (NMT) 结构，它使用了密集连接和密集注意力结构来训练 NMT 模型并改善注意力质量。实验表明，DenseNMT 结构更具竞争力和效率。

    Jun, 2018

  • 预训练语言模型迁移学习改进端到端语音摘要

    本文提出在端对端语音摘要（E2E SSum）模型中集成预训练语言模型来解决数据稀缺问题，并通过迁移学习来减少编解码器之间的差距。实验证明，该模型表现优于基线和数据增强模型。

    Jun, 2023