EMNLPDec, 2022

基于信息论的视频对话文本幻觉减少

PDF
TL;DR该研究设计了一种文本幻觉缓解框架（THAM），并通过当前的对话系统运用该框架验证了其在基准测试（即 AVSD @ DSTC7 和 AVSD @ DSTC8）上对 Video-grounded 对话的有效性和提高的解释性。
video-grounded dialoguetext hallucination mitigatingmulti-modal reasoningavsdinterpretability
发现论文，激发创造
  • M2K-VDG: 模型自适应多模态知识锚定增强的视频驱动对话生成

    通过计算困惑度，我们揭示了不同的视频对话生成（VDG）模型经历了不同的幻觉，并展示了多样的锚点标记。基于这一观察，我们提出了一种模型适应性的多模态知识锚点增强框架 M2K-VDG，用于减少幻觉产生。进一步，我们引入了反事实效应以更准确地检测锚点标记。在三个流行的基准测试上的实验结果显示，我们的方法优于现有方法，证明了它在减少幻觉方面的有效性。

    Feb, 2024

  • VDGD：通过弥合视觉感知差距来减轻认知提示中的低可信度语言幻觉

    对大型视觉语言模型（LVLMs）的幻觉问题进行了深入分析，发现了几个新的洞察力，提出了一种简单、稳健和无需训练的方法（VDGD）来减轻幻觉，实验结果表明 VDGD 在减少幻觉方面显著优于其他基线方法。

    May, 2024

  • 在数据到文本生成中控制单词级别的幻觉

    通过使用多分支解码器，结合基于共现分析和依存解析的简单高效的评分过程，针对 Data-to-Text Generation 的问题 ——Hallucinations 作出了研究，成功地减少了 Hallucinations，同时保持生成文本的流畅性和连贯性。

    Feb, 2021

  • 多模态图像幻觉控制：视觉信息的连接

    通过引入 M3ID 多模态互信息解码方法对先前训练的视觉语言生成模型进行推理时的增强，能够减少幻觉并提高模型的依赖性，从而减少视觉无依据的回答。

    Mar, 2024

  • 减轻知识驱动对话生成中的幻觉的因果观察

    本文通过反事实推理方法分析了幻觉问题背后的因果关系，提出了一种可能的解决方案，即通过利用对话 - 知识交互来减轻幻觉，在不影响对话性能的同时适应不同的生成模型。希望我们的努力能够支持并呼吁更多重视开发轻量级技术以实现强大可靠的对话系统。

    Apr, 2024

  • 用视觉监督减轻视觉 - 语言模型中的虚构问题

    通过引入更详细的视觉注释和更具区分性的视觉模型来提高大型视觉语言模型的训练，使其能够生成更精确的回答，减少幻觉；此外，提出了新的评估基准 RAH-Bench 分为三种不同的幻觉类型，与原始 LLaVA 相比，我们的方法在该基准下实现了 +8.4% 的改进，并在其他模型上取得了广泛的性能提升。

    Nov, 2023

  • HEAR: 面向视频对话的听觉增强音频响应

    提出了 Hearing Enhanced Audio Response（HEAR）框架，用于解决视频对话系统（Video-grounded Dialogue）中的聋响应问题，通过选择性地关注音频来改善系统的听觉能力和准确性。

    Dec, 2023

  • 通过对抗性指导调节来缓解大型多模式模型的对话幻觉

    本研究证明了大型多模型（LMMs) 出现幻觉的问题可以通过采用对抗式攻击的新颖敌对性问题生成器生成具有幻觉对话的数据集，并且通过对增强的多模式指令遵循数据集进行鲁棒的微调，成功地减少了对话幻觉。

    Mar, 2024

  • 为大型视觉语言模型提供定向指导调节，减轻幻觉

    针对当前大型视觉 - 语言模型在生成回复和相应图像之间存在的不一致问题，本研究提出了一种名为 DFTG 的有针对性的指导数据生成框架，通过诊断模型的响应和图像，生成有针对性的指导数据以减轻幻觉问题。实验结果表明，与先前的数据集相比，我们的方法生成的有针对性指导数据在减轻幻觉方面更加有效。

    Apr, 2024

  • 多模态增量变压器结合视觉定位生成视觉对话

    该研究提出了一种多模态增量变形器（MITVG）的视觉指向方法，该方法可以显式地定位与文本实体相关的图像对象，从而帮助模型排除不需要关注的视觉内容，进而在多轮对话历史记录和视觉场景的基础上生成一致且连贯的响应。该模型在 VisDial v0.9 和 v1.0 数据集上实验结果证明了其优越性能。

    Sep, 2021