ACLAug, 2022

寻找稻草堆中的针头：神经机器翻译中幻觉的全面研究

PDF
TL;DR本文研究了神经机器翻译中的幻觉问题，提出了一种基于不确定性的检测方法，并探究了 DeHallucinator 方法在测试阶段缓解幻觉的效果。此外，作者还发布了一个标注数据集用于未来研究。
neural machine translationhallucinationsdetection methodsdehallucinatorannotated dataset
发现论文，激发创造
  • 神经机器翻译中幻觉现象的好奇案例

    本文研究神经机器翻译中的幻觉，提出了两个关键的幻觉方式（源扰动下和语料级别噪声下），并阐述了数据生成过程中的幻觉放大现象，其中 Backtranslation 是一种常见的数据生成方法。

    Apr, 2021

  • 神经机器翻译幻觉成因探究

    本文提出使用探测方法从模型结构的角度研究机器翻译中幻觉翻译的存在原因，实验发现，幻觉翻译通常伴随缺陷的编码器，特别是嵌入和脆弱的交叉关注，而交叉关注有助于减轻编码器引起的某些错误。

    Jun, 2022

  • 神经机器翻译中无监督幻象检测的最优输运

    本文讨论如何通过优化传输和一个完全无监督的插件来检测 NMT 中的幻觉，并表明该检测器不仅优于所有先前的基于模型的检测器，而且与训练在数百万个样本上的大型模型的检测器有竞争力。

    Dec, 2022

  • 通过模型内省理解和检测神经机器翻译中的幻觉

    通过分析相对标记的贡献来确定神经序列生成模型的幻觉内在模型症状，使用这些症状设计出一个轻量级的幻觉检测器，在手动标注的英中和德英翻译测试上优于基于质量估计或大型预训练模型的分类器。

    Jan, 2023

  • 使用特征归因减少神经机器翻译中的幻觉

    通过特征归因和正则化等方法，提出一种新的损失函数，可以有效降低神经机器翻译中的幻觉错误。

    Nov, 2022

  • 检测和缓解机器翻译中的幻觉：仅基于模型内部工作表现良好，基于句子相似度的方法表现更佳

    提出了一种通过评估翻译中源语言贡献百分比的方法，以解决神经机器翻译中出现的幻觉问题，并发现使用跨语言嵌入的句子相似性有助于提高检测精度。

    Dec, 2022

  • 寻求真相：一种审问方法用于幻觉检测

    通过多个数据集和大型语言模型，包括 Llama-2，对该模型的幻觉水平进行广泛评估，并展示了我们的方法在自动检测幻觉方面的有效性，达到了 87% 的平衡准确率，而无需依赖外部知识。

    Mar, 2024

  • 关于同时机器翻译中的虚构问题

    通过对 SiMT 中幻觉的两个角度进行综合分析，即对幻觉词的分布和目标端上下文使用进行理解，研究发现通过减少 SiMT 中目标端信息的过度使用，可以减轻幻觉现象。

    Jun, 2024

  • 大型多语种翻译模型中的幻觉

    本研究针对大规模多语言机器翻译，分析了 M2M 常规神经机器翻译模型和通用的 ChatGPT 模型中幻觉翻译的普遍性、特性和缓解措施，以期构建更加稳定和可信的机器翻译系统。

    Mar, 2023

  • HalOmi: 一份手动标注的跨语言机器翻译幻觉与遗漏检测基准集

    本论文发布一个注释数据集用于检测机器翻译中出现的幻觉和省略现象，并重新访问了以前的幻觉和省略检测方法，建立了新的坚实基础。

    May, 2023