量化神经机器翻译中上下文依赖性的可能性

Oct, 2023

量化神经机器翻译中上下文依赖性的可能性

Quantifying the Plausibility of Context Reliance in Neural Machine Translation

Gabriele Sarti, Grzegorz Chrupała, Malvina Nissim, Arianna Bisazza

TL;DR利用模型内部信息量化语言模型生成过程中上下文使用的合理性，并应用于上下文敏感的机器翻译模型，对比模型理由与人工标注，以识别并突显模型翻译中上下文相关的预测及其合理性。

Abstract

Establishing whether language models can use contextual information in a human-plausible way is important to ensure their safe adoption in real-world settings. However, the questions of when and which parts of th

language models contextual information plausibility evaluation interpretability framework context-aware machine translation

发现论文，激发创造

上下文感知机器翻译中的上下文使用度测量与增加

本文介绍了一种新的度量模型使用上下文的方法，并提出了一种新的训练方法来增加上下文感知模型的使用率。实验证明，这种方法可以提高翻译质量和语义连贯性。

May, 2021

测量文档级机器翻译系统中的语境利用

文件级别的翻译模型通常使用一般性指标（如 BLEU）进行评估，而这些指标对于上下文的益处并不具有信息量。我们的研究提出了补充基于准确性评估的上下文利用度量的方法，并且通过扰动分析发现这是一种有效的全局上下文利用度量。此外，我们还提出了一种细粒度的现象特定评估方法，用于衡量对处理上下文相关的话语现象的支持上下文的贡献。我们的研究结果表明自动注释的支持上下文与人工注释的上下文给出了类似的结论，并可以作为人工注释不可用的情况下的替代方法。最后，我们强调了在评估上下文利用度时使用话语丰富的数据集的重要性。

Feb, 2024

上下文感知的机器翻译与源语言共指解释

通过预测输入中的核指代特征，我们提出了一种可以解释翻译决策的模型，通过利用输入和翻译输出表示中的上下文特征，以提高英语 - 德语数据集、英语 - 俄语数据集和多语言 TED 演讲数据集上的文档级翻译任务 BLEU 分数超过 1.0 的效果。

Apr, 2024

CoSe-Co: 文本条件生成通用常识上下文

提出了一种基于符号知识图谱的预训练语言模型生成任务相关信息的 CommonSense Contextualizer (CoSe-Co) 模型，该模型结合句子作为输入文本的上下文信息，以构建一种新的数据集用于训练 CoSe-Co 模型，并在多项选择 QA 以及常识推理任务中展现出显著提高的性能

Jun, 2022

神经机器翻译中的语篇现象评估

研究了利用上下文进行神经机器翻译的模型，并提出了一种多编码器并解码两个句子以实现上下文输出的方法，该方法在指代和连贯性方面表现最佳。

Nov, 2017

确定上下文相关的翻译以进行评估集生成

将手工制作的、语言相关的规则作为输入，我们使用统计工具提供的先进特征（如指代、词性和形态学特征）来选择具有上下文关系的句子对，通过对七种语言对和两个数据集的实验验证，我们开发了 CTXPRO 工具，用于识别需要上下文才能正确翻译的句子，并通过与先前研究的重叠度和区分上下文机器翻译系统和基于句子的系统的能力来验证其性能。

Nov, 2023

大型语言模型是否能理解上下文？

理解上下文是理解人类语言的关键，本论文介绍了一个上下文理解基准，通过适应现有数据集来评估生成模型的能力，并发现预先训练的稠密模型在理解复杂上下文特征方面比优化调整模型困难。

Feb, 2024

面向上下文的神经机器翻译学习

本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

Mar, 2019

论述性神经机器翻译的连贯性建模

本研究提出一种使用话语上下文和奖励机制来从话语角度提高翻译质量的模型，能够有效提高翻译质量和话语连贯性。

Nov, 2018

上下文感知神经机器翻译中的挑战

这篇论文探讨了上下文感知神经机器翻译的挑战与方法，并提出了一种更逼近真实情境的段落级翻译任务 para2para，同时提供了新的中英小说数据集以促进未来研究。

May, 2023