May, 2024

通过数据增强对比调整减轻物体幻觉

PDF
TL;DR本文主要研究了多模式大型语言模型（MLLMs）在生成文本时存在的对象虚构问题，并提出了一种对抗调整的方法来减轻虚构现象，其中通过选择性地改变真实信息来通过生成性数据增强产生虚构的标记，从而提高真实标记相对于虚构标记的相对可能性，实验证实了这种方法在减轻虚构现象上的有效性，而且这种方法简单、快速，需要很少的训练且在推理过程中没有额外的开销。
multimodal large language modelshallucinationscontrastive tuninggenerative data augmentationtoken level
发现论文，激发创造
  • 基于幻觉增强对比学习的多模态大型语言模型

    本文从表示学习的新角度解决了多模态大型语言模型中的幻觉问题，并通过引入对比学习的方法，在多个基准测试中证明了减少幻觉和提高性能的有效性。

    Dec, 2023

  • 为大型视觉语言模型提供定向指导调节，减轻幻觉

    针对当前大型视觉 - 语言模型在生成回复和相应图像之间存在的不一致问题，本研究提出了一种名为 DFTG 的有针对性的指导数据生成框架，通过诊断模型的响应和图像，生成有针对性的指导数据以减轻幻觉问题。实验结果表明，与先前的数据集相比，我们的方法生成的有针对性指导数据在减轻幻觉方面更加有效。

    Apr, 2024

  • 通过对抗性指导调节来缓解大型多模式模型的对话幻觉

    本研究证明了大型多模型（LMMs) 出现幻觉的问题可以通过采用对抗式攻击的新颖敌对性问题生成器生成具有幻觉对话的数据集，并且通过对增强的多模式指令遵循数据集进行鲁棒的微调，成功地减少了对话幻觉。

    Mar, 2024

  • 通过视觉对比解码减轻大型视觉语言模型中的物体幻觉

    大视觉语言模型（LVLMs）通过视觉识别和语言理解相结合，生成连贯且与上下文相关的内容，但仍然存在物体幻觉问题。本文介绍一种名为 Visual Contrastive Decoding（VCD）的简单且无需训练的方法，通过对比原始和失真的视觉输入产生的输出分布，有效降低统计偏差和单模式先验产生物体幻觉的影响，确保生成的内容与视觉输入密切相关，从而产生上下文准确的输出。实验证明，VCD 不需要额外的训练或使用外部工具，在不同的 LVLM 族群中显著减轻了物体幻觉问题。除减轻物体幻觉问题外，VCD 在通用 LVLM 基准测试中也表现出色，展示了其广泛的适用性。

    Nov, 2023

  • 幻觉医生：减轻视觉指导数据中的幻觉毒性

    该研究旨在调查和减轻多模态大型语言模型中的幻觉毒性，针对机器生成的视觉指令数据集中的对象、关系和属性幻觉进行检测和消除，并通过对数据分布进行对抗因果视觉指令扩展来增强模型对幻觉的抵抗能力。

    Nov, 2023

  • 通过诱导式优化减轻大型视觉语言模型中的幻觉

    利用 Contrary Bradley-Terry Model 进行优化，引入 Hallucination-Induced Optimization 策略，提高 Large Visual Language Models 处理视觉对比解码中的幻觉问题的效果。

    May, 2024

  • 通过引发幻觉减轻大型语言模型的幻觉

    提出的 “感应 - 对比解码” 策略通过降低幻觉导致的不真实预测，增强了大型语言模型生成内容的可信度。在多个模型规模和系列上的实验证明，该方法能有效提高大型语言模型的内容真实性。

    Dec, 2023

  • 使用源对比和语言对比解码减轻幻觉和目标外机器翻译

    机器翻译中的幻觉和目标脱靶翻译一直是未解决的问题，特别是对于低资源语言和大规模多语种模型。本文介绍了一种修改解码目标的方法，用于缓解这两种失败情况，而无需重新训练或使用外部模型。在实验证明，这些方法能有效抑制幻觉和目标脱靶翻译，在 57 个测试的翻译方向上平均提高了 1.7 和 1.4 个 chrF2 分数。在英 - 德的概念验证中，我们还展示了我们可以使用 Llama 2 聊天模型来抑制目标脱靶翻译，证明了该方法在 LLM 机器翻译中的可应用性。

    Sep, 2023

  • 对比学习减少对话中的虚幻

    该论文提出了一种名为 MixCL 的对比学习方案，通过显式优化 LM 的内在知识引出过程以减少困扰其会话的幻觉，在 Wizard-of-Wikipedia 上的实验证实了 MixCL 在对话中有效地减少了 LM 的幻觉，并在相关性和事实准确性方面实现了 LM 对话代理的最高性能。

    Dec, 2022

  • 大型语言模型中幻觉缓解技术的综合调查

    这篇论文综述了 32 种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

    Jan, 2024