Feb, 2023

利用链接方式增强上下文感知的神经机器翻译中的编码句子位置

PDF
TL;DR本研究采用 segement embeddings 帮助 Transformer 识别翻译串联中每个句子的位置，并通过比较不同的 segment embeddings 和提出的方法，发现除了在特定情况下，它们并不会对原始串联方法产生益处。
context-aware translationsegment embeddingstransformersentence positiontoken representations
发现论文，激发创造
  • 面向上下文感知神经机器翻译的聚焦拼接

    本文提出一种改进的连接方法，加强句子边界和相对句子距离概念，从而促进模型满足上下文折扣化目标，提高语境感知神经机器翻译，表现优于基准连接法和其他复杂的上下文感知系统。

    Oct, 2022

  • 利用句子上下文进行神经机器翻译

    本研究提出了利用句子上下文进行神经机器翻译的新方法，并在 WMT14 英德和英法基准测试中进行了实验，结果表明，通过利用句子上下文可以提高翻译性能，深度句子上下文可以形成更全面的上下文表示。

    Jun, 2019

  • 利用跨句子上下文进行神经机器翻译

    本文提出了一种基于上下文的翻译方法，并探究了历史上下文信息对神经机器翻译性能的影响。实验结果表明，该方法相较于基于注意力机制的神经机器翻译系统，能够显著提高翻译质量 + 2.1 BLEU points。

    Apr, 2017

  • 扩展上下文的神经机器翻译

    探究在基于注意力的神经机器翻译中使用扩展上下文的效果，通过对电影字幕进行翻译实验，研究增加翻译单元之外的片段对源语言上下文和双语上下文扩展的影响，发现模型可以区分不同片段的信息，并且在一些情况下可以改善译文连贯性。

    Aug, 2017

  • 用卷积上下文来进行 ASR 的变压器

    本文提出了用卷积学习输入表示替换变形器的正弦位置嵌入，并阐述其在提供长程关系方面的优势和优化特点，最终实现了在无额外语言模型文本下，librispeech 测试中 4.7％和 12.9％的字错率。

    Apr, 2019

  • 上下文感知机器翻译的序列缩短

    在此研究中，我们展示了一种特殊情况的多编码器架构，其中源句子的潜在表示被缓存并在下一步中被重复使用作为上下文，这在对比数据集上实现了更高的准确度，并且与单编码器和多编码器方法相比具有相可比的 BLEU 和 COMET 分数。此外，我们还研究了将序列缩短应用于缓存表示的方法，我们测试了三种基于汇聚的缩短技术，并引入了两种新方法 - 潜在分组和潜在选择，其中网络学习将标记分组或选择为上下文进行缓存。我们的实验结果表明，这两种方法在对比数据集上达到了与其他测试方法相当的 BLEU 和 COMET 分数和准确度，同时可能具有更高的可解释性，并在上下文大小增加时减少了内存需求的增长。

    Feb, 2024

  • 上下文感知的神经机器翻译中的目标数据推广

    该研究通过拼接语境的方法，研究了在标准文档级神经机器翻译中，是否应进一步提升目标语言的上下文对翻译结果的影响，实验结果表明，在目标语言现象上，将目标语言上下文加入到源语言端能够有显著的提升，而在依赖于源语言的现象方面，将源语言和目标语言的上下文同时加入源语言端能够在所有指标上都有显著的提升。

    Feb, 2024

  • 上下文感知的选择性关注神经机器翻译

    提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上的实验进一步验证了该方法的有效性。

    Mar, 2019

  • 神经机器翻译数据增强的句子串联方法

    本研究提出一种数据增强方法来处理长句子翻译问题，结果显示这一方法不仅提高了翻译质量，而且与回译方法的结合进一步改善了翻译质量。

    Apr, 2021

  • 神经机器翻译的依赖于上下文的单词表示

    本文首次观察了神经机器翻译中不断向量表示的潜在弱点，基于此提出了利用非线性词袋表示法和类型化符号来提高对源语言和目标语言的区分度，从而显著提高了神经机器翻译系统的翻译质量。

    Jul, 2016