May, 2023

HalOmi: 一份手动标注的跨语言机器翻译幻觉与遗漏检测基准集

PDF
TL;DR本论文发布一个注释数据集用于检测机器翻译中出现的幻觉和省略现象，并重新访问了以前的幻觉和省略检测方法，建立了新的坚实基础。
machine translationhallucinationsomissionsannotated datasetdetection methods
发现论文，激发创造
  • 寻找稻草堆中的针头：神经机器翻译中幻觉的全面研究

    本文研究了神经机器翻译中的幻觉问题，提出了一种基于不确定性的检测方法，并探究了 DeHallucinator 方法在测试阶段缓解幻觉的效果。此外，作者还发布了一个标注数据集用于未来研究。

    Aug, 2022

  • AutoHall: 大型语言模型的自动幻觉数据集生成

    该论文提出了 AutoHall 方法，通过自相矛盾的方式自动构建模型特定的幻觉数据集，然后基于这些数据集实现了无资源和黑盒幻觉检测方法，对开源和闭源大型语言模型进行了实验证明，在幻觉检测性能上优于现有基准模型，并且发现了不同模型之间的幻觉比例和类型的差异。

    Sep, 2023

  • ANAH：大型语言模型中幻觉的分析注释

    减少大型语言模型的 “幻觉” 问题对其广泛应用非常关键。本论文提出了 ANAH 数据集，对生成式问答中语言模型的 “幻觉” 进行了精细的测量与注释，并通过实验验证了 ANAH 训练的生成式标注模型在细粒度幻觉注释方面的优势，表现超过目前的开源大型语言模型和 GPT-3.5，与 GPT-4 的性能竞争，对于未知问题具有更好的泛化能力。

    May, 2024

  • 定义幻觉的陷阱

    尽管自然语言生成（NLG）和大语言模型（LLMs）取得了令人印象深刻的进展，但研究人员对 NLG 评估的重要方面仍不清楚。为了证实这一观点，我检查了数据文本 NLG 中关于幻觉和省略的当前分类，并提出了基于逻辑的这些分类的综合。最后，我强调了关于幻觉的所有当前思考的一些残留限制，并讨论了对 LLMs 的影响。

    Jan, 2024

  • 词对齐作为机器翻译的偏好

    通过引导基于大型语言模型的机器翻译模型进行更好的词对齐，我们在这项工作中缓解了机器翻译中长期存在的幻觉和遗漏问题，并通过选择困难示例和使用 GPT-4 直接评估模型的性能来验证了所设计的评估方法的合理性和有效性。

    May, 2024

  • 零样本多任务幻觉检测

    在这项研究中，我们正式定义了虚构，并提出了一种在零镜头环境中定量检测虚构的框架，利用我们的定义和模型输出包含任务和样本特定输入的假设。我们的解决方案在模型感知环境中实现了 0.78 的准确度，在模型无关环境中实现了 0.61 的准确度。值得注意的是，我们的解决方案保持了计算效率，比其他现有方法需要更少的计算资源，符合轻量化和压缩模型的趋势。

    Mar, 2024

  • 渥太华：用于幻觉和遗漏翻译错误检测的最优输运自适应词对齐器

    我们介绍了一种基于 Optimal Transport 的单词对齐器 OTTAWA，旨在增强机器翻译系统中幻觉和遗漏的检测能力。与现有方法相比，在 HalOmi 基准测试的 18 种语言对上，我们的方法取得了竞争性的结果，并具有识别错误类型和进行单词级检测的能力，而无需访问机器翻译系统的内部状态。

    Jun, 2024

  • 基于令牌级别的无参考幻象检测基准测试 —— 自由形式文本生成

    该研究提出了一种基于 token 级别的、无参考幻觉检测任务以及相应的 HaDes 数据集，旨在解决预训练生成模型的幻觉问题，并通过迭代模型策略来减轻标签不平衡问题。

    Apr, 2021

  • 关于同时机器翻译中的虚构问题

    通过对 SiMT 中幻觉的两个角度进行综合分析，即对幻觉词的分布和目标端上下文使用进行理解，研究发现通过减少 SiMT 中目标端信息的过度使用，可以减轻幻觉现象。

    Jun, 2024

  • 神经机器翻译中幻觉现象的好奇案例

    本文研究神经机器翻译中的幻觉，提出了两个关键的幻觉方式（源扰动下和语料级别噪声下），并阐述了数据生成过程中的幻觉放大现象，其中 Backtranslation 是一种常见的数据生成方法。

    Apr, 2021