语言模型的幻想增强朗读

Nov, 2023

Hallucination Augmented Recitations for Language Models

Abdullatif Köksal, Renat Aksitov, Chung-Ching Chang

TL;DR利用幻觉增强吟诵（HAR）的对抗控制生成数据集方法，改进了大语言模型的归属度，提高了开放式问题回答的性能。

Abstract

attribution is a key concept in large language models (LLMs) as it enables control over information sources and enhances the factuality of LLMs. While existing approaches utilize open book question answering to i

attribution large language models open book qa counterfactual datasets text grounding

发现论文，激发创造

通过自我反思来缓解大型语言模型中的幻想

通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

Oct, 2023

关于事实问答中幻觉的早期检测

我们通过探究模型生成的输入、输出和内部状态中的指标来检测大型语言模型生成中的幻觉，结果表明这些指标在幻觉生成和非幻觉生成之间存在差异，我们进一步通过训练二分类器使用这些指标作为输入特征来将模型生成划分为幻觉和非幻觉，此二分类器的 AUROC 值达到 0.80，并且我们展示了先前的幻觉中的令牌可以预测随后的幻觉。

Dec, 2023

HypoTermQA: 用于评估 LLMs 产生假设性术语倾向的假设性术语数据集

介绍了一个自动可扩展的框架，将大型语言模型（LLM）的幻觉倾向与高效的幻觉检测相结合，提供了测试和改进 LLMs 的机会，并有潜力生成特定领域的基准数据集。

Feb, 2024

DelucionQA: 领域特定问答中的幻觉检测

大型语言模型（LLM）生成的文本中存在幻觉现象，通过信息检索来减少幻觉数量，但仍存在各种原因导致幻觉产生。为了促进这个方向的研究，我们引入了一个复杂的数据集 DelucionQA，用于捕捉检索增强 LLM 在特定领域的问答任务中所产生的幻觉，并提出了一系列幻觉检测方法作为未来研究的基准。分析和案例研究还提供了有关目标场景中幻觉现象的宝贵见解。

Dec, 2023

导航不确定性：封闭式问题回答中优化 API 依赖关系以减少幻觉

我们提出了一种新的大型语言模型，能够自我评估是否能直接回答问题或需要请求外部工具。我们通过引入幻觉屏蔽机制的监督方法进行研究，并提出利用参数高效微调技术在少量数据上训练模型。我们的模型直接回答已知查询的问题，对于未知查询进行搜索，从而只在 62% 的时间内使用 API。

Jan, 2024

通过自我完善增强的知识检索减轻大型语言模型的幻觉

在医学领域中，通过使用自我完善的知识图谱检索方法（Re-KGR），我们可以显著提高大型语言模型的真实性，降低谬误并减少虚构内容。

May, 2024

使用特征归因减少神经机器翻译中的幻觉

通过特征归因和正则化等方法，提出一种新的损失函数，可以有效降低神经机器翻译中的幻觉错误。

Nov, 2022

基于幻觉增强对比学习的多模态大型语言模型

本文从表示学习的新角度解决了多模态大型语言模型中的幻觉问题，并通过引入对比学习的方法，在多个基准测试中证明了减少幻觉和提高性能的有效性。

Dec, 2023

AutoHall: 大型语言模型的自动幻觉数据集生成

该论文提出了 AutoHall 方法，通过自相矛盾的方式自动构建模型特定的幻觉数据集，然后基于这些数据集实现了无资源和黑盒幻觉检测方法，对开源和闭源大型语言模型进行了实验证明，在幻觉检测性能上优于现有基准模型，并且发现了不同模型之间的幻觉比例和类型的差异。

Sep, 2023

通过可转移的对抗性攻击实现对齐大型语言模型的自动幻觉评估

大型语言模型 (LLM) 中的幻觉问题已取得显著进展，但如何评估 LLMs 的可靠性仍然具有挑战性。本文通过生成评估数据的方法对现有数据进行适当修改，以使用 AutoDebug 框架生成可转移的对抗攻击示例，并研究这些示例触发 LLMs 幻觉行为的程度。实验结果表明，LLMs 在两类问答场景中易产生幻觉，并且我们的方法生成的对抗示例在所有考虑到的 LLMs 之间可转移。

Oct, 2023