Jun, 2024

直接偏好优化用于抑制放大的先前考试在放射学报告生成中

PDF
TL;DR利用直接优化偏好的方法，我们对预训练的视觉语言生成模型进行修改，以抑制不需要的生成行为，特别是在胸部 X 光报告生成中抑制往期检查的幻觉，从而在保持模型性能的同时，减少了 3.2-4.8 倍的幻觉行为。这项工作是我们所知的首次将直接优化偏好应用于医学视觉语言生成模型，为在保持整体临床准确性的同时抑制问题行为提供了一种数据和计算高效的方法。
发现论文，激发创造
  • 超越幻觉：通过幻觉感知的直接偏好优化增强 LVLMs

    这篇论文提出了一个新的策略：幻觉感知直接偏好优化（HA-DPO），通过训练模型在给定同一图像的两个回应（一个准确一个幻觉）时倾向于选择非幻觉回应，从而解决了多模式大型语言模型中存在的 “幻觉问题”。研究结果表明，在应用 HA-DPO 策略后，MiniGPT-4 模型的性能得到了显著提升。

    Nov, 2023

  • 大型视觉语言模型中的幻觉检测与预防

    介绍 M-HalDetect，一个用于训练和评估幻觉检测和预防模型的多模态幻觉检测数据集。使用 Fine-grained Direct Preference Optimization 和拒绝抽样方法，成功减少了幻觉率，为视觉问题回答任务提供了重要的改进。

    Aug, 2023

  • 直接优化语言模型奖励的视频大型多模态模型

    本文介绍了一种新的框架，利用详细的视频字幕作为视频内容的代理，使语言模型能够将此信息作为支持证据，用于评分视频问答（QA）预测，并通过直接将视频帧作为输入的 OpenAI GPT-4V 模型的奖励机制来展示我们的方法与之间的稳健一致性。此外，我们还表明通过直接偏好优化使用此定制奖励显著改善了视频语言模型在视频 QA 任务上的性能。

    Apr, 2024

  • 通过偏好微调来对齐视觉大型语言模型中的模态

    通过引入偏好调优和自动生成数据的方法 POVID，本研究解决了视觉大语言模型中可能出现的幻觉问题，并通过直接偏好优化的强化学习模型提高了模型性能。

    Feb, 2024

  • 多模态图像幻觉控制：视觉信息的连接

    通过引入 M3ID 多模态互信息解码方法对先前训练的视觉语言生成模型进行推理时的增强，能够减少幻觉并提高模型的依赖性，从而减少视觉无依据的回答。

    Mar, 2024

  • 通过删除虚构的对不存在的先验的引用来改进放射学报告生成系统

    本研究提出了两种方法来消除放射学报告中引用先前报告的问题，一种是基于 GPT-3 的 few-shot 方法来重写没有引用先前报告的医疗报告，另一种是基于 BioBERT 的标记分类方法来直接删除引用先前报告的单词。研究者们认为在这些方法的基础上，CXR-ReDonE 模型能够更好地生成放射学报告，进而在临床管道中得到更好的应用。

    Sep, 2022

  • 多模式偏好对齐解决语言模型视觉指导调整的回归

    通过细粒度注释的小型数据集，提出了一种基于蒸馏的多模态对齐模型，修复和增强了视觉指导调整后的多模态大型语言模型的语言能力。

    Feb, 2024

  • 解决大型语言模型中的主题粒度和虚构问题用于主题建模

    利用直接偏好优化（Direct Preference Optimization）对开源大型语言模型（Large Language Models）进行微调，以解决主题粒度和虚构主题的问题，实现产生更连贯、相关和精确的主题，并减少虚构主题的数量。

    May, 2024

  • 为大型视觉语言模型提供定向指导调节，减轻幻觉

    针对当前大型视觉 - 语言模型在生成回复和相应图像之间存在的不一致问题，本研究提出了一种名为 DFTG 的有针对性的指导数据生成框架，通过诊断模型的响应和图像，生成有针对性的指导数据以减轻幻觉问题。实验结果表明，与先前的数据集相比，我们的方法生成的有针对性指导数据在减轻幻觉方面更加有效。

    Apr, 2024

  • 通过精细的人工智能反馈检测和缓解大型视觉语言模型中的幻觉

    通过细粒度人工智能反馈，检测和减轻大规模视觉语言模型中的幻觉现象。通过生成小规模句子级幻觉注释数据集和使用检测 - 重写流程来自动构建偏好数据集，进一步区分幻觉的严重程度，将幻觉严重程度纳入偏好学习来减轻大规模视觉语言模型中的幻觉。广泛实验证明了我们方法的有效性。

    Apr, 2024