介绍 M-HalDetect，一个用于训练和评估幻觉检测和预防模型的多模态幻觉检测数据集。使用 Fine-grained Direct Preference Optimization 和拒绝抽样方法，成功减少了幻觉率，为视觉问题回答任务提供了重要的改进。

Aug, 2023

该论文提出了一种新的图像相关性度量标准，以评估当前的图像字幕模型，防止物体幻觉现象，并探讨模型架构和学习目标对物体幻觉的贡献，以及语言先验对幻觉的影响，研究发现表现最佳的图像字幕模型并不总是具有较低的幻觉，并且出现幻觉的模型往往受到语言先验驱动的错误的影响。

Sep, 2018

使用幻像网络在 RoI 特征空间中生成特定类别的附加训练样本，并将其整合入现代目标检测模型中，以改善少样本检测。该方法在 COCO 基准测试中实现了新的极少样本检测率的表现，并在两个最先进的少样本检测器上取得了显着的性能改进。

May, 2021

通过跨模态幻觉实现稳健的点云三维物体检测的新框架，结合空间和特征的多次对齐以实现骨干网络的细化和幻觉生成，提出了空间对齐和特征对齐的步骤以处理几何差异和感知模态间的属性差距，通过单模态数据进行推断阶段的输入，实现更好的困难检测和高效率的检测。在 View-of-Delft (VoD) 数据集上的广泛实验表明，该方法在雷达和 LiDAR 物体检测上优于最先进的方法，同时保持了竞争性的运行效率。

Sep, 2023

该论文系统研究了视觉语言预训练模型中对象幻觉问题，从近期最先进的 VLP 模型，VLP 中不同类型的图像编码方式，以及 VLP 目标的不同方面入手，提出了一种名为 ObjMLM 的简单而有效的 VLP 损失，能够减少对象幻觉。实验表明，ObjMLM 可以将对象幻觉降低多达 17.4%。

Oct, 2022

使用大规模文本到图像模型生成训练数据在各种生成领域已经成为一种常见方法；然而，特别是在卡通角色等非逼真风格中，仍然存在感知上的关键缺陷的视觉幻觉问题；我们提出了一种针对由文本到图像模型生成的卡通角色图像的新型视觉幻觉检测系统；我们的方法利用了使用 RGB 图像和姿势信息的姿势感知上下文视觉学习（PA-ICVL）和视觉语言模型（VLMs），通过引入来自微调的姿势估计的姿势指导，使得 VLMs 能够做出更准确的决策；实验结果表明，与仅依赖于 RGB 图像的基准方法相比，我们在识别视觉幻觉方面取得了显著的改进；本研究通过减轻视觉幻觉问题，推动了文本到图像模型的发展，扩大了其在非逼真领域的潜力。

Mar, 2024

利用逻辑封闭环路的原理，提出了一种基于逻辑一致性探测的对象幻觉检测和缓解框架，命名为 LogicCheckGPT，该方法可以无缝应用于所有现有的大视觉 - 语言模型，并在三个基准测试中的四种模型上进行的全面实验表明了该方法带来的显着改进，证明了其有效性和普适性。

Feb, 2024

我们提出了一种新的方法来处理大形变、遮挡和低分辨率，并通过使用全连接模型来对整体目标和动物身体部位的模板进行排列，以更好地处理由形变、遮挡和 / 或低分辨率造成的不同 “可检测性” 模式，并在动物类别上验证其有效性。

Jun, 2014

该研究在计算机视觉领域采用虚拟场景设计与自动图像生成的方法，建立了一个可用于多种计算机视觉任务的虚拟数据集 ParallelEye，并证明了将其与实际数据结合使用可以显著提高模型的性能。同时，该研究还通过测试虚拟数据集的方法发现了已训练模型的缺陷。

Dec, 2017

通过多个数据集和大型语言模型，包括 Llama-2，对该模型的幻觉水平进行广泛评估，并展示了我们的方法在自动检测幻觉方面的有效性，达到了 87% 的平衡准确率，而无需依赖外部知识。

Mar, 2024