ACLMay, 2024

基于字节的神经机器翻译中整合多尺度上下文信息

PDF
TL;DR在神经机器翻译（NMT）模型中，子词标记化是一种常见的词汇构建方法，但是越来越复杂的任务使其劣势显现。我们提出了多尺度上下文化（MSC）方法，它通过学习不同隐藏状态维度上的不同尺度的上下文化信息，并利用注意力模块动态地集成多尺度的上下文化信息，以解决这些问题。实验证明，MSC 在多语言和领域外的场景中明显优于子词和其他基于字节的方法。
subword tokenizationvocabulary buildingmultilingual translationbyte-based tokenizationmulti-scale contextualization (msc)
发现论文，激发创造
  • 神经机器翻译的本地字节融合

    本研究提出了一种基于字节的机器翻译方法 (Local Byte Fusion, LOBEF)，它利用基于 byte-ngram 和单词边界的方法来聚合局部语义信息，经过对多语种翻译、零 - shot 跨语言转移和域自适应的大量实验证明，在多种情况下比传统的基于字节的方法和子词分割技术都有更好的性能表现。

    May, 2022

  • 多尺度协同深度模型用于神经机器翻译

    本文提出了一种名为多尺度协作（MultiScale Collaborative）的框架，通过引入块尺度协作机制和上下文尺度协作增强梯度反向传播，并让每个编码器块学习细粒度的表示，以增加神经机器翻译模型的深度，从而提高翻译质量，并在多项任务中证明了该方法的有效性。

    Apr, 2020

  • 基于字节级子词的神经机器翻译

    本篇论文探讨了一种基于字节级子词（BBPE）的机器翻译模型，该模型比字符词汇表更紧凑且没有超出词汇表的令牌，并显示了与 BPE 相当的性能，BBPE 在跨多种语言的情况下最大化词汇共享并实现更好的翻译质量，同时使非重叠字符集的语言之间的模型传递成为可能。

    Sep, 2019

  • 面向上下文的神经机器翻译学习

    本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

    Mar, 2019

  • 字节级表示在语言建模中的应用

    该论文提出了一种新的方法 Byte2Word，通过引入交叉注意力网络建立单词级别的表示，并基于单词级别的隐藏状态进行子词级别的预测，从而实现了更精简的输入嵌入方式，同时在语言模型和文本分类上表现出与强大的基准模型 BERT 相当的性能。

    Nov, 2022

  • 提高长文本层面机器翻译质量

    文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

    Jun, 2023

  • 上下文感知的选择性关注神经机器翻译

    提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上的实验进一步验证了该方法的有效性。

    Mar, 2019

  • 深入探究上下文感知神经机器翻译

    本文研究了文档级 NMT 模型在四个不同领域中的性能，并发现不同的架构适用于不同的任务，同时发现上下文感知系统在任务特定问题上有改进，而文本级别的指标（如 BLEU）没有显着改进。同时，本文还表明，文档级别的回译对于缺乏文档级别双文本的情况有很大的帮助。

    Oct, 2020

  • 多尺度变形器模型的序列生成学习

    本文提出了一种基于不同语言单元（包括子词、单词和短语）之间的关系建立多尺度 Transformer 模型 ——Universal MultiScale Transformer（UMST），实验证明它在几个测试集上都可比存在的流行基准模型获得更好的性能表现，且不影响效率。

    Jun, 2022

  • 扩展上下文的神经机器翻译

    探究在基于注意力的神经机器翻译中使用扩展上下文的效果，通过对电影字幕进行翻译实验，研究增加翻译单元之外的片段对源语言上下文和双语上下文扩展的影响，发现模型可以区分不同片段的信息，并且在一些情况下可以改善译文连贯性。

    Aug, 2017