Sep, 2018

多语言自注意翻译模型的参数共享方法

PDF
TL;DR本论文研究了多语言神经机器翻译中参数共享技术，发现完全参数共享方法能够提高 BLEU 得分，但是对于较为不同的语言，BLEU 得分反而下降。因此，我们提出了针对局部参数共享的方法，能够显著提高翻译精度。
multilingual neural machine translationparameter sharingself-attentional transformer modelbleu scorestranslation accuracy
发现论文，激发创造
  • 评估多语言翻译模型的监督式和零 - shot 表现

    本文研究了多语言 NMT 模型的解码器参数的完全或部分共享的几种方法，在仅使用 WMT2019 共享任务并行数据集进行训练的 110 个独特翻译方向上评估了完全监督和零样本翻译性能。通过使用其他测试集并重新利用最近用于无监督 MT 的评估方法来评估在没有黄金标准平行数据的语言对的零样本翻译性能。我们进行了不同模型翻译性能的深入评估，突出了解码器参数共享方法之间的权衡取舍。我们发现，在具有任务特定解码器参数的模型中，优于在所有任务上完全共享解码器参数的模型。

    Jun, 2019

  • 使用共享注意机制的多路多语言神经机器翻译

    提出了一种多路多语言的神经机器翻译方法，通过共享单个的注意力机制，仅线性地增加神经网络的参数数量即可实现多语言翻译，并成功地提高了低资源语言对的翻译质量。

    Jan, 2016

  • 相关语言依存分析器之间的参数共享

    研究了如何在 10 种语言中对不同的参数共享策略进行评估，发现共享转换分类器参数会有所帮助，共享单词和字符 LSTM 参数的有用性有所不同，建议采用共享转换分类器和通过调节控制共享单词和字符参数的模型，在单语情况下获得了显着的改进，不能完全共享太多参数。

    Aug, 2018

  • 理解 Transformer 中的参数共享

    通过研究深度模型中参数共享的原因，本文发现共享参数主要是通过优化训练收敛来提高模型性能。在机器翻译等任务中，我们的模型表现优异，且仅有参数共享模型一半的复杂度。

    Jun, 2023

  • 具有任务特定注意力机制的多语言神经机器翻译

    我们提出了针对多种源语言和目标语言翻译的任务特定的注意力模型，旨在改进序列到序列神经机器翻译的质量。我们在欧洲议会语料库的四种语言上进行的实验表明，使用目标语言特定的注意力模型相对于参数共享模型提供了一致的翻译质量的提升，甚至在低资源的零 - shot 翻译方向上也观察到了翻译质量的改善。

    Jun, 2018

  • 跨模态多任务语音转文字翻译与参数共享

    最近的研究在端到端语音到文本翻译（ST）中提出了多任务方法，通过辅助编码器将机器翻译（MT）数据映射到最终的跨模态表示中，采用软参数共享。本研究提出了一种具有硬参数共享的 ST/MT 多任务框架，通过预处理阶段将语音和文本输入转换为两个长度相似的离散令牌序列，从而减少了语音 - 文本模态差异。通过在 MuST-C 上的实验，我们证明了我们的多任务框架平均提高了 0.5 BLEU 的关注编码器 - 解码器、连接时序分类（CTC）、转录器和联合 CTC / 关注模型，而无需外部 MT 数据。此外，我们还展示了这个框架的融入外部 MT 数据可以产生 0.8 BLEU 的改进，并且可以提高从预训练的文本模型进行迁移学习，从而产生 1.8 BLEU 的改进。

    Sep, 2023

  • 跨语言机器翻译中的词汇表不足：增加语言间表示单词的相似度

    本论文提出了一种新的共享词汇的设计方法，通过定义词级别信息传递路径和使用图网络来融合跨语言的词嵌入，避免了多语言之间文字编码的问题，实验还表明该方法在高低资源多语言机器翻译中可实现显著的 BLEU 分数改进，且只需额外训练少于 1.0％的可训练参数，计算成本增加有限。

    May, 2023

  • 跨语言命名实体识别的共享网络参数

    本文中，我们提出了一种基于神经网络的模型，它允许在两种语言之间共享解码器以及单词和字符级别参数，从而使得资源丰富的语言可以帮助资源匮乏的语言，特别是在一个语言（$L_1$）中只有少量标注语料库而在另一种语言（$L_2$）中有大量标注语料库的情况下，我们的方法不需要手工特征工程，而是直接从训练数据本身学习有意义的特征表示，并在实验中展示了 4 个语言对中，在资源受限的情况下，通过在多语言数据上联合训练的模型比仅在一个语言中有限标注语料库上训𝑖练得到的模型表现更好。

    Jul, 2016

  • 关于单语表示的跨语言转移性

    新颖的跨语言转移学习方法 - 从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

    Oct, 2019

  • 通过理解和学习辅助文本翻译任务来提高语音翻译

    本文研究了在多任务学习框架下，辅助文本翻译任务对语音到文本翻译任务的影响及参数共享等解决方案，提出三种方法以提高翻译质量，实验结果表明该方法在几种语种翻译任务中相对于基线都达到了最新水平。

    Jul, 2021