一个基准重新审视：推动多段落模型在上下文感知翻译中的极限

Oct, 2022

一个基准重新审视：推动多段落模型在上下文感知翻译中的极限

A baseline revisited: Pushing the limits of multi-segment models for context-aware translation

Suvodeep Majumder, Stanislas Lauly, Maria Nadejde, Marcello Federico, Georgiana Dinu

TL;DR利用多段模型进行上下文翻译，在不需要额外的语言特定调整和特定任务结构的情况下，通过增加模型容量并使用知识蒸馏技术，取得了可比较的性能，更适合捕获上下文依赖关系。

Abstract

This paper addresses the task of contextual translation using multi-segment models. Specifically we show that increasing model capacity further pushes the limits of this approach and that deeper models are more s

contextual translation multi-segment models model capacity knowledge distillation competitive performance

发现论文，激发创造

扩展上下文的神经机器翻译

探究在基于注意力的神经机器翻译中使用扩展上下文的效果，通过对电影字幕进行翻译实验，研究增加翻译单元之外的片段对源语言上下文和双语上下文扩展的影响，发现模型可以区分不同片段的信息，并且在一些情况下可以改善译文连贯性。

Aug, 2017

面向上下文的神经机器翻译学习

本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

Mar, 2019

双语多说话人谈话的上下文神经翻译模型

本文提出了一项翻译双语多说话者会话的任务，并探索了利用源语言和目标语言会话历史的神经网络架构，在 Europarl v7 和 OpenSubtitles2016 数据集上的实验证实了利用对话历史的重要性。

Sep, 2018

统计机器翻译中基于目标端上下文的判别式模型

通过使用源上下文信息优化的翻译模型以提高机器翻译性能，我们提出了一种使用目标上下文信息的新颖扩展，令人惊讶的是，我们证明可以将该模型直接高效地集成在解码过程中，我们的方法可以应用于大规模训练数据，对四种语言对的语言翻译质量有一致提高，我们提供了分析，比较基线基于源上下文模型的优势，以及我们扩展的源上下文和目标上下文模型，结果显示，我们的扩展可以更好地捕捉形态学一致性。

Jul, 2016

基于线性关注力模型建模上下文，实现可扩展的文档级翻译

本文研究了一种基于 Peng et al. (2021) 的线性注意力模型，并通过句子门促进最近归纳偏置，以提高文档级机器翻译的效能和翻译质量，并在 IWSLT 2015 和 OpenSubtitles 2018 上进行了评估和测试，结果表明该模型在长序列的解码速度方面有大幅提高，且翻译得分相似或更高，并展示了句子门进一步提高了 IWSLT 上的翻译质量。

Oct, 2022

重新思考文档级神经机器翻译

通过合适的训练技术，使用原来的 Transformer 模型可以在涉及长度 2000 个单词的文档级别的翻译中取得比句子级别的模型更好的表现，并且在六种语言的九个文档级别和两个句子级别的数据集上，使用包括 BLEU，四个词法指标，三个新提出的辅助语言指标和人类评估在内的全面指标，证明了文档级别 Transformer 模型的优越性。

Oct, 2020

可移动上下文：解决同声传译中的训练推理上下文不匹配问题

提出了可移位上下文（Shiftable Context）方案，旨在保持训练和推断环境中段和上下文大小的一致性，即使存在由于同时翻译的流媒体特性而导致部分填充的段。在 MUST-C 数据集的三种语言对中，模型的 BLEU 得分显著提高。

Jul, 2023

使用文档级上下文来改进 Transformer 翻译模型

该研究通过在 Transformer 模型中引入上下文编码器，将文档级别的上下文信息融入原有的编码器和解码器中提高翻译质量，同时采用双倍训练方法，充分利用句子级别平行语料库和有限的文档级别平行语料库来训练模型，并通过 NIST 中英数据集和 IWSLT 法英数据集的实验表明，该方法显著提升了 Transformer 模型的性能表现。

Oct, 2018

机器翻译中的文档级语言模型

本研究针对机器翻译系统在句子级别上操作的限制，提出了利用文档级单语数据构建上下文感知翻译系统的方法，并通过结合现有句子级翻译模型和文档级语言模型，改进了现有方法，并提出了新的权重技术以提高系统组合的灵活性和降低计算开销。通过对四个不同的翻译任务进行全面评估，结果显示我们的改进能够显著提高面向文档的评分，并在计算上更高效。但在大多数情况下，通过再训练翻译系统进行反向翻译可以获得更好的结果。最后，我们探索了基于大语言模型的语言模型融合，在最新的大语言模型进展的基础上取得了一定的潜力。

Oct, 2023

利用大型语言模型改进长篇口语翻译

本研究旨在通过微调大型语言模型，将长语音自动识别转换成短模块，以提高翻译质量，在三种语言上表现实验效果优于自动标点基线，同时使用两种条件解码策略提高输出的良好性。

Dec, 2022