Nov, 2023

幻觉医生：减轻视觉指导数据中的幻觉毒性

PDF
TL;DR该研究旨在调查和减轻多模态大型语言模型中的幻觉毒性，针对机器生成的视觉指令数据集中的对象、关系和属性幻觉进行检测和消除，并通过对数据分布进行对抗因果视觉指令扩展来增强模型对幻觉的抵抗能力。
multi-modal large language modelshallucinationshallucination detectionhallucination eliminationcounterfactual visual instruction expansion
发现论文，激发创造
  • 大型视觉语言模型中的幻觉检测与预防

    介绍 M-HalDetect，一个用于训练和评估幻觉检测和预防模型的多模态幻觉检测数据集。使用 Fine-grained Direct Preference Optimization 和拒绝抽样方法，成功减少了幻觉率，为视觉问题回答任务提供了重要的改进。

    Aug, 2023

  • 为大型视觉语言模型提供定向指导调节，减轻幻觉

    针对当前大型视觉 - 语言模型在生成回复和相应图像之间存在的不一致问题，本研究提出了一种名为 DFTG 的有针对性的指导数据生成框架，通过诊断模型的响应和图像，生成有针对性的指导数据以减轻幻觉问题。实验结果表明，与先前的数据集相比，我们的方法生成的有针对性指导数据在减轻幻觉方面更加有效。

    Apr, 2024

  • 基于幻觉增强对比学习的多模态大型语言模型

    本文从表示学习的新角度解决了多模态大型语言模型中的幻觉问题，并通过引入对比学习的方法，在多个基准测试中证明了减少幻觉和提高性能的有效性。

    Dec, 2023

  • 通过对抗性指导调节来缓解大型多模式模型的对话幻觉

    本研究证明了大型多模型（LMMs) 出现幻觉的问题可以通过采用对抗式攻击的新颖敌对性问题生成器生成具有幻觉对话的数据集，并且通过对增强的多模式指令遵循数据集进行鲁棒的微调，成功地减少了对话幻觉。

    Mar, 2024

  • 通过精细的人工智能反馈检测和缓解大型视觉语言模型中的幻觉

    通过细粒度人工智能反馈，检测和减轻大规模视觉语言模型中的幻觉现象。通过生成小规模句子级幻觉注释数据集和使用检测 - 重写流程来自动构建偏好数据集，进一步区分幻觉的严重程度，将幻觉严重程度纳入偏好学习来减轻大规模视觉语言模型中的幻觉。广泛实验证明了我们方法的有效性。

    Apr, 2024

  • MedThink：通过思考减少幻觉的诱导医学大规模视觉语言模型

    通过模拟人类认知过程构建细粒度指导对，应用推理场景中的 “思路链” 概念到训练场景，提出了名为 MedThink 的方法，该方法针对医学领域显著改善了医学图像报告生成任务中模型的性能，并大幅减轻了虚构现象。

    Jun, 2024

  • 大型语言模型中幻觉缓解技术的综合调查

    这篇论文综述了 32 种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

    Jan, 2024

  • AutoHall: 大型语言模型的自动幻觉数据集生成

    该论文提出了 AutoHall 方法，通过自相矛盾的方式自动构建模型特定的幻觉数据集，然后基于这些数据集实现了无资源和黑盒幻觉检测方法，对开源和闭源大型语言模型进行了实验证明，在幻觉检测性能上优于现有基准模型，并且发现了不同模型之间的幻觉比例和类型的差异。

    Sep, 2023

  • 通过自我反思来缓解大型语言模型中的幻想

    通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

    Oct, 2023

  • 通过数据增强对比调整减轻物体幻觉

    本文主要研究了多模式大型语言模型（MLLMs）在生成文本时存在的对象虚构问题，并提出了一种对抗调整的方法来减轻虚构现象，其中通过选择性地改变真实信息来通过生成性数据增强产生虚构的标记，从而提高真实标记相对于虚构标记的相对可能性，实验证实了这种方法在减轻虚构现象上的有效性，而且这种方法简单、快速，需要很少的训练且在推理过程中没有额外的开销。

    May, 2024