CVPRMar, 2024

SNIFFER: 可解释的跨语境误信息识别的多模态大型语言模型

PDF
TL;DRSNIFFER 是一种特别针对超文本误导检测和解释的新型多模态大型语言模型，通过在 InstructBLIP 上进行两阶段的指令调整，不仅能够检测文字和图像之间的不一致性，还可以利用外部知识进行上下文验证，实验证明 SNIFFER 的检测准确性超过了原始的 MLLM 超过 40%，并且在解释能力方面也优于最先进的方法。
misinformationout-of-context misinformationsniffermultimodal large language modeldetection accuracy
发现论文，激发创造
  • 使用可解释的神经符号模型检测上下文不一致的多模态错误信息

    本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

    Apr, 2023

  • 合成的不实信息生成者：多模态虚假信息的生成和打击

    本研究针对多模态虚假信息检测，提出了基于 CLIP 的命名实体交换的依据。我们提供了包括图像 - 标题不匹配 (OOC)、跨模态命名实体不一致 (NEI) 和混合方法在内的新的和现有的综合比较研究，以便评估检测模型的性能。我们的研究结果表明 CLIP-based Named Entity Swapping 可以提高模型的多模态准确性，而混合方法可以进一步提高检测准确性

    Mar, 2023

  • 利用基于聊天的大型视觉语言模型进行多模式场景外检测

    证明了在多模态的背景下，通过对数据集进行微调，可以显著提高大视觉 - 语言模型在超文本检测任务中的性能。

    Jan, 2024

  • 新闻中检测上下文不相关的图像 - 标题对的一种违反常识的方法

    利用生成图像模型检测新闻中图像与标题对的脱离语境使用，为廉价伪造检测领域的进一步研究提供新方法和数据集，通过定性和定量分析评估图像生成模型及图像相似度计算方法的性能。

    Aug, 2023

  • 使用合成多模态虚假信息进行图像文本脱离上下文检测

    利用合成数据生成的新方法进行了与虚假信息检测相关的语境外检测研究，通过创建特定于语境外检测的数据集和开发高效的分类器，实验证实了合成数据生成在解决语境外检测中的数据限制方面的有效性，为未来研究和开发健壮的虚假信息检测系统提供了有价值的资源。

    Jan, 2024

  • 带有软逻辑正则化的可解释多模态脱离语境检测

    通过使用逻辑正则化方法对文本的短语级别进行预测，我们提出了一种用于检测上下文错误的逻辑正则化方法（LOGRAN），该方法在解释性和结果准确性方面表现出竞争力，提高了对虚假信息的检测和理解能力。

    Jun, 2024

  • MMIDR：通过知识蒸馏教授大型语言模型解读多模态误信息

    提出了 MMIDR 框架，用于教授大型语言模型在多模态错误信息检测中提供流畅、高质量的文本解释，通过数据增强和流程设计，将多模态错误信息转化为适当的指令遵循格式，再利用知识蒸馏方法将专有模型的解释能力传递给开源模型，实验证明 MMIDR 具有足够的检测性能，并能够提供有力的解释支持。

    Mar, 2024

  • NewsCLIPpings: 自动生成多模态媒体的脱离上下文内容

    提出了一个自动检测图像和文本不一致性的数据集，并在其基础上测试了几种多模态模型的性能，这对于解决在线虚假信息问题和对抗深度伪造等具有重要意义。

    Apr, 2021

  • 支持或反驳：分析证据的立场以检测脱离上下文的误导性和虚假信息

    在线误导和虚假信息已成为一个重大社会问题，其中一种常见的形式是错位信息，通过将不同的信息片段错误地关联在一起，例如真实图像与虚假的文字说明或具有误导性的文字描述。本研究提出了一种支持立场提取网络（SEN），可以在一个统一的框架中提取多模态证据的不同立场，并引入基于命名实体的共现关系计算的支持 - 反驳分数到文本 SEN 中。对公共的大规模数据集进行了广泛的实验，结果显示我们的方法优于现有的基线模型，最佳模型在准确率上取得了 3.2% 的性能提升。

    Nov, 2023

  • 探索用于多模态离域检测的大型语言模型

    应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能，通过从每个图像提取视觉对象充分利用前述世界知识，充分实验证明本方法始终优于现有技术。

    Oct, 2023