Mar, 2024

利用语义重建缓解视觉语言模型中的幻像

PDF
TL;DR通过准确定位和惩罚产生错觉的标记，ESREAL 提出了一种新颖的无监督学习框架，以抑制视觉 - 语言模型在生成长字幕时的幻觉，通过分析图像本身的信号实现减少错觉的目标。
hallucinationsvision-language modelsesrealunsupervised learning frameworktoken-level hallucinations
发现论文，激发创造
  • 用视觉监督减轻视觉 - 语言模型中的虚构问题

    通过引入更详细的视觉注释和更具区分性的视觉模型来提高大型视觉语言模型的训练，使其能够生成更精确的回答，减少幻觉；此外，提出了新的评估基准 RAH-Bench 分为三种不同的幻觉类型，与原始 LLaVA 相比，我们的方法在该基准下实现了 +8.4% 的改进，并在其他模型上取得了广泛的性能提升。

    Nov, 2023

  • 基于幻觉增强对比学习的多模态大型语言模型

    本文从表示学习的新角度解决了多模态大型语言模型中的幻觉问题，并通过引入对比学习的方法，在多个基准测试中证明了减少幻觉和提高性能的有效性。

    Dec, 2023

  • 通过精细的人工智能反馈检测和缓解大型视觉语言模型中的幻觉

    通过细粒度人工智能反馈，检测和减轻大规模视觉语言模型中的幻觉现象。通过生成小规模句子级幻觉注释数据集和使用检测 - 重写流程来自动构建偏好数据集，进一步区分幻觉的严重程度，将幻觉严重程度纳入偏好学习来减轻大规模视觉语言模型中的幻觉。广泛实验证明了我们方法的有效性。

    Apr, 2024

  • SLPL SHROOM 在 SemEval-2024 任务 06 中：模型检测幻觉能力的全面研究

    本研究探索了通过比较生成文本与事实参考之间的语义相似性以及互相评判的语言模型集成方法来检测虚构的方法，并指出了虚构检测的挑战以及进一步研究的必要性。

    Apr, 2024

  • 大规模视觉语言模型中的幻觉评估和分析

    基于大型语言模型的幻觉评估框架 (HaELM) 提出了对当前大视觉 - 语言模型 (LVLMs) 进行幻觉评估的方法，并分析了导致幻觉的因素，并提供了缓解幻觉问题的建议。

    Aug, 2023

  • 大型视觉语言模型中的对象幻觉分析与缓解

    LVLM Hallucination Revisor (LURE) 是一种简单而强大的算法，通过重建较少产生幻觉的描述来修正 LVLMs 中的物体幻觉问题，从而提高视觉总结和推理等视觉语言任务的性能。

    Oct, 2023

  • 语义熵探针：在 LLMs 中稳健且经济的幻觉检测

    我们提出了语义熵探针 (SEPs)，这是一种在大型语言模型 (LLMs) 中用于量化不确定性的廉价可靠方法。

    Jun, 2024

  • 大型视觉语言模型中的幻觉检测与预防

    介绍 M-HalDetect，一个用于训练和评估幻觉检测和预防模型的多模态幻觉检测数据集。使用 Fine-grained Direct Preference Optimization 和拒绝抽样方法，成功减少了幻觉率，为视觉问题回答任务提供了重要的改进。

    Aug, 2023

  • 幻觉提升无监督视觉表示学习的性能

    通过生成附加的正样本进一步扩大对比，我们提出了可高效生成数据的 Hallucinator，它是可微分的，并且在特征空间内创建新数据，从而实现与预训练任务的直接优化，减少幻觉对的互信息并通过非线性操作对其进行平滑处理，以避免过度自信的对比学习模型，并实现更多的变换不变特征嵌入。实验证明，所提出的 Hallucinator 在各种对比学习模型中都具有很好的泛化性能，包括 MoCoV1＆V2，SimCLR 和 SimSiam，其在 CIFAR10＆100，小图像集，STL-10 和 ImageNet 上实现了 0.3％至 3.0％的稳定准确率提升，在目标检测和分割等下游任务中也观察到了改进。

    Jul, 2023

  • 大型语言模型中幻觉缓解技术的综合调查

    这篇论文综述了 32 种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

    Jan, 2024