检测和缓解机器翻译中的幻觉：仅基于模型内部工作表现良好，基于句子相似度的方法表现更佳

Dec, 2022

检测和缓解机器翻译中的幻觉：仅基于模型内部工作表现良好，基于句子相似度的方法表现更佳

Detecting and Mitigating Hallucinations in Machine Translation: Model Internal Workings Alone Do Well, Sentence Similarity Even Better

PDF

David Dale, Elena Voita, Loïc Barrault, Marta R. Costa-jussà

TL;DR提出了一种通过评估翻译中源语言贡献百分比的方法，以解决神经机器翻译中出现的幻觉问题，并发现使用跨语言嵌入的句子相似性有助于提高检测精度。

Abstract

While the problem of hallucinations in neural machine translation has long been recognized, so far the progress on its alleviation is very little. Indeed, recently it turned out that without artificially encourag

neural machine translation hallucinations translation model source contribution cross-lingual embeddings

发现论文，激发创造

通过模型内省理解和检测神经机器翻译中的幻觉

通过分析相对标记的贡献来确定神经序列生成模型的幻觉内在模型症状，使用这些症状设计出一个轻量级的幻觉检测器，在手动标注的英中和德英翻译测试上优于基于质量估计或大型预训练模型的分类器。

Jan, 2023

使用特征归因减少神经机器翻译中的幻觉

通过特征归因和正则化等方法，提出一种新的损失函数，可以有效降低神经机器翻译中的幻觉错误。

Nov, 2022

神经机器翻译幻觉成因探究

本文提出使用探测方法从模型结构的角度研究机器翻译中幻觉翻译的存在原因，实验发现，幻觉翻译通常伴随缺陷的编码器，特别是嵌入和脆弱的交叉关注，而交叉关注有助于减轻编码器引起的某些错误。

Jun, 2022

大型多语种翻译模型中的幻觉

本研究针对大规模多语言机器翻译，分析了 M2M 常规神经机器翻译模型和通用的 ChatGPT 模型中幻觉翻译的普遍性、特性和缓解措施，以期构建更加稳定和可信的机器翻译系统。

Mar, 2023

关于同时机器翻译中的虚构问题

通过对 SiMT 中幻觉的两个角度进行综合分析，即对幻觉词的分布和目标端上下文使用进行理解，研究发现通过减少 SiMT 中目标端信息的过度使用，可以减轻幻觉现象。

Jun, 2024

及时处理，节省九倍：通过验证低置信度生成结果来检测和减轻 LM 的幻觉

本研究旨在积极检测和减轻生成过程中的 “幻觉” 问题，通过候选幻觉的识别、校验、减轻和继续生成的方法，成功降低了 GPT-3 模型的幻觉比例平均从 47.5% 下降到 14.5%。

Jul, 2023

SLPL SHROOM 在 SemEval-2024 任务 06 中：模型检测幻觉能力的全面研究

本研究探索了通过比较生成文本与事实参考之间的语义相似性以及互相评判的语言模型集成方法来检测虚构的方法，并指出了虚构检测的挑战以及进一步研究的必要性。

Apr, 2024

寻找稻草堆中的针头：神经机器翻译中幻觉的全面研究

本文研究了神经机器翻译中的幻觉问题，提出了一种基于不确定性的检测方法，并探究了 DeHallucinator 方法在测试阶段缓解幻觉的效果。此外，作者还发布了一个标注数据集用于未来研究。

Aug, 2022

互信息在抽象摘要中减轻幻觉

本文发现了一个简单的标准 —— 模型不确定性高 —— 会导致生成更多的错误内容（即幻觉），并提出了一种解码策略，该策略在存在不确定性时优化源和目标单词的点间互信息，从而减少幻觉的出现，并在 XSum 数据集上进行了实验证明，该方法降低了幻觉的概率，同时保持了黄色和 BertS 得分。

Oct, 2022

关于事实问答中幻觉的早期检测

我们通过探究模型生成的输入、输出和内部状态中的指标来检测大型语言模型生成中的幻觉，结果表明这些指标在幻觉生成和非幻觉生成之间存在差异，我们进一步通过训练二分类器使用这些指标作为输入特征来将模型生成划分为幻觉和非幻觉，此二分类器的 AUROC 值达到 0.80，并且我们展示了先前的幻觉中的令牌可以预测随后的幻觉。

Dec, 2023