EFUF：用于减轻多模态大语言模型中幻觉的高效细粒度遗忘框架

Feb, 2024

EFUF：用于减轻多模态大语言模型中幻觉的高效细粒度遗忘框架

EFUF: Efficient Fine-grained Unlearning Framework for Mitigating Hallucinations in Multimodal Large Language Models

Shangyu Xing, Fei Zhao, Zhen Wu, Tuo An, Weihao Chen...

TL;DR多模式大语言模型 (MLLMs) 在过去几年中引起了越来越多的关注，但它们可能会生成包含图片中不存在的对象的描述，这被称为对象幻觉。为了消除幻觉，已有的方法手动注释带有和不带幻觉的成对响应，然后采用各种对齐算法改进图像和文本之间的对齐能力。然而，它们在微调阶段需要大量计算资源，并且需要昂贵的人工注释来构建对齐算法所需的成对数据，这些问题可以通过借鉴遗忘思想和提出一种高效的精细遗忘框架 (EFUF) 来解决，该框架无需成对数据即可消除幻觉。广泛的实验证明我们的方法在保留适度计算开销的同时一致降低了幻觉，同时保持了生成质量。我们的代码和数据集将公开提供。

Abstract

multimodal large language models (MLLMs) have attracted increasing attention in the past few years, but they may still generate descriptions that include objects not present in the corresponding images, a phenomenon known as object hallucination. To eliminate hallucinations, existing m

multimodal large language models object hallucination alignment algorithms fine-grained unlearning framework generation quality

发现论文，激发创造

多模态大型语言模型的统一幻觉检测

多模态大语言模型（MLLMs）在全方位任务中取得了显著进展，但幻觉问题成为其关键问题之一。我们的研究扩展了对幻觉检测的调查范围，并提出了一个新颖的元评估基准（MHaluBench），以促进幻觉检测方法的发展。我们还推出了一个新颖的统一多模态幻觉检测框架（UNIHD），利用一套辅助工具来强化幻觉检测的有效性，并提供了针对不同幻觉类别的工具应用战略见解。

Feb, 2024

通过精细的人工智能反馈检测和缓解大型视觉语言模型中的幻觉

通过细粒度人工智能反馈，检测和减轻大规模视觉语言模型中的幻觉现象。通过生成小规模句子级幻觉注释数据集和使用检测 - 重写流程来自动构建偏好数据集，进一步区分幻觉的严重程度，将幻觉严重程度纳入偏好学习来减轻大规模视觉语言模型中的幻觉。广泛实验证明了我们方法的有效性。

Apr, 2024

大型视觉语言模型中的幻觉检测与预防

介绍 M-HalDetect，一个用于训练和评估幻觉检测和预防模型的多模态幻觉检测数据集。使用 Fine-grained Direct Preference Optimization 和拒绝抽样方法，成功减少了幻觉率，为视觉问题回答任务提供了重要的改进。

Aug, 2023

通过对标题重写的方式，利用大型视觉语言模型进行微调来减轻细粒度的幻觉

本文介绍了 ReCaption, 一个用于减少视觉 - 语言模型中细粒度物体幻觉的框架，并通过实验证明其有效性。

Dec, 2023

幻觉医生：减轻视觉指导数据中的幻觉毒性

该研究旨在调查和减轻多模态大型语言模型中的幻觉毒性，针对机器生成的视觉指令数据集中的对象、关系和属性幻觉进行检测和消除，并通过对数据分布进行对抗因果视觉指令扩展来增强模型对幻觉的抵抗能力。

Nov, 2023

增强基于不确定性的错觉检测与更强的关注

本文提出了一种新颖的无参考、基于不确定性的大语言模型 (LLM) 幻觉检测方法，通过关注给定文本中最具信息和重要性的关键词、历史上不可靠的标记以及标记属性（如类型和频率），实现了最新的检测方法，消除了对额外信息的需求。

Nov, 2023

减轻大规模语言模型的虚构问题的忠实微调

大型语言模型（LLMs）在各种自然语言处理任务上表现出色。然而，它们容易生成流畅但不真实的回复，即 “幻觉”。幻觉可能导致错误信息的传播，并在关键应用中造成伤害。减少幻觉具有挑战性，因为它们来源于嘈杂的数据、模型自信心过度、缺乏知识和生成过程等因素。最近的研究通过表示编辑和解码算法来解决这个问题，实现减少幻觉但不进行重大结构更改或重新训练。然而，这些方法要么隐式地在潜在空间中编辑 LLMs 的行为，要么在解码过程中抑制输出不忠实的结果的倾向，而不是显式地对幻觉进行建模。在本文中，我们介绍了忠实微调（F2），这是一种通过精心设计的损失函数在微调过程中显式地对忠实回答建模的新方法。我们在常用数据集上进行了广泛的实验，并证明 F2 相对于基线模型能够取得显著改进。

Jun, 2024

Hal-Eval: 一个用于大型视觉语言模型的通用且精细的幻觉评估框架

该研究提出了一种包括事件妄想在内的妄想细分分类方法，并利用高级视觉语言模型生成和过滤各类妄想数据，在通用评估框架中集成鉴别和生成式评估方法，从而评估大规模视觉语言模型处理妄想的能力，为评估妄想提供了可靠而全面的工具。

Feb, 2024

基于幻觉增强对比学习的多模态大型语言模型

本文从表示学习的新角度解决了多模态大型语言模型中的幻觉问题，并通过引入对比学习的方法，在多个基准测试中证明了减少幻觉和提高性能的有效性。

Dec, 2023

基于策略的细粒度知识反馈用于幻觉缓解

在这篇论文中，我们介绍了一种基于在线强化学习的细粒度反馈方法（RLFH）来减轻大型语言模型在生成过程中产生的幻觉行为。通过将大模型的结果分解为原子事实，并提供语句级评估信号，RLFH 能够探索其内部知识的边界，并提供关于这些探索的在线、细粒度反馈。为了进行可靠的生成行为学习，RLFH 采用在线强化算法根据这些基于标记的奖励调整模型行为，以减轻幻觉现象。RLFH 还引入了一种基于大型语言模型的事实评估框架，可以在不需要人工干预的情况下验证原子事实的真实性和有用性。在 HotpotQA、SQuADv2 和传记基准测试上的实验显示，RLFH 可以平衡大型语言模型在生成过程中使用内部知识的程度，从而消除了幻觉行为。

Jun, 2024