ACLFeb, 2023

文档展平：基于文档级神经机器翻译上下文联接的拓展

PDF
TL;DR本文提出了一种文档展开技术（DocFlat），通过整合扁平批量注意力（FBA）和神经上下文门（NCG）到 Transformer 模型中，使其能够利用超出伪文档边界的信息，实现捕捉长距离信息，并在三个基准数据集上进行了全面实验和分析，验证了 DocFlat 及其变体的有效性，并显示出较强的性能。
neural machine translationdocument flatteningflat-batch attentiontransformer modellong-range information
发现论文，激发创造
  • 面向上下文感知神经机器翻译的聚焦拼接

    本文提出一种改进的连接方法，加强句子边界和相对句子距离概念，从而促进模型满足上下文折扣化目标，提高语境感知神经机器翻译，表现优于基准连接法和其他复杂的上下文感知系统。

    Oct, 2022

  • 上下文感知的选择性关注神经机器翻译

    提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上的实验进一步验证了该方法的有效性。

    Mar, 2019

  • 神经机器翻译的文档图

    利用图形化表示法将文档作为全局语境，并将其整合到传统的变压器架构中，结合多种关系，包括邻接，句法依赖，词汇一致性和指代，能够显著提高神经机器翻译的性能。

    Dec, 2020

  • 神经机器翻译中充分利用上下文的探索

    通过引入全局上下文，我们提出了一种新的文档级 NMT 框架，用于处理包含任意数量句子的文档，并且可以在标准数据集上优雅地训练，结果表明我们的模型优于 Transformer 基线和之前的文档级 NMT 模型。

    Feb, 2020

  • 只需 5% 的注意力：高效的长距离文档级神经机器翻译

    通过引入基于轻量级注意力的额外选择层，我们在保持翻译性能的同时加快了 20％的速度，能够实现将注意力仅集中在约 5％的令牌上，从而节省了 93％的计算成本。

    Sep, 2023

  • 基于线性关注力模型建模上下文，实现可扩展的文档级翻译

    本文研究了一种基于 Peng et al. (2021) 的线性注意力模型，并通过句子门促进最近归纳偏置，以提高文档级机器翻译的效能和翻译质量，并在 IWSLT 2015 和 OpenSubtitles 2018 上进行了评估和测试，结果表明该模型在长序列的解码速度方面有大幅提高，且翻译得分相似或更高，并展示了句子门进一步提高了 IWSLT 上的翻译质量。

    Oct, 2022

  • 提高长文本层面机器翻译质量

    文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

    Jun, 2023

  • 使用自我训练在句子级神经机器翻译模型中捕获文档上下文

    该研究提出了一种基于自训练的方法，可以在不需要专门的并行文档级语料库和模型的情况下，将已训练好的句子级神经机器翻译模型应用于文档级机器翻译任务，并在三个文档级数据集上进行了评估，结果显示我们的方法在 BLEU 指标上具有更高的得分和更高的人类偏好度。

    Mar, 2020

  • 带有记忆网络的文本上下文神经机器翻译

    通过内存网络以及结构化预测方式解决文档级机器翻译问题。在训练过程中囊括源文件和目标文件，通过分别采用两个记忆组件来处理相应上下文，同时提出一种基于块协调下降的迭代解码算法。在法语、德语和爱沙尼亚语文件中进行英语翻译的实验结果表明，该模型在利用上下文方面有效，在 BLEU 和 METEOR 方面的表现均显著优于先前的方法。

    Nov, 2017

  • 使用文档级上下文来改进 Transformer 翻译模型

    该研究通过在 Transformer 模型中引入上下文编码器，将文档级别的上下文信息融入原有的编码器和解码器中提高翻译质量，同时采用双倍训练方法，充分利用句子级别平行语料库和有限的文档级别平行语料库来训练模型，并通过 NIST 中英数据集和 IWSLT 法英数据集的实验表明，该方法显著提升了 Transformer 模型的性能表现。

    Oct, 2018