Jun, 2024

带有软逻辑正则化的可解释多模态脱离语境检测

PDF
TL;DR通过使用逻辑正则化方法对文本的短语级别进行预测，我们提出了一种用于检测上下文错误的逻辑正则化方法（LOGRAN），该方法在解释性和结果准确性方面表现出竞争力，提高了对虚假信息的检测和理解能力。
out-of-context detectionmisinformationimage repurposinglogic regularizationinterpretability
发现论文，激发创造
  • 使用可解释的神经符号模型检测上下文不一致的多模态错误信息

    本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

    Apr, 2023

  • NewsCLIPpings: 自动生成多模态媒体的脱离上下文内容

    提出了一个自动检测图像和文本不一致性的数据集，并在其基础上测试了几种多模态模型的性能，这对于解决在线虚假信息问题和对抗深度伪造等具有重要意义。

    Apr, 2021

  • 基于内容和多模态的开放领域图片事实核查在线资源

    该研究提出了一种基于多模态证据的检查方法，通过对图像和标题进行事实检查，有效应对了当前社交网络中易传播的虚假信息。同时，引入了一种名为 'Consistency-Checking Network' 的新型架构，模拟了人类跨模态推理的过程。

    Nov, 2021

  • COSMOS: 自监督学习的趣味信息检测

    本篇研究旨在解决社交媒体上未经修饰的图像被嵌入错误语境中以误导群众的问题，通过借助图像与文本之间的信息协同作用，提出了一种利用自学习特性，通过选择性地将照片中的物体与文本描述对齐以实现快速准确判断图像和文本的整体匹配度来检测文本和图像配对情况的新方法。对于测试数据，本方法的误识别率为 15%。同时本文还提供了一个包括来自各类新闻网站、博客和社交媒体贴文的 20 万张图像和 45 万个文本描述的大型数据集。

    Jan, 2021

  • 可解释的多模态逻辑推理误信息检测

    提出一种新颖的基于逻辑的神经模型，该模型将可解释的逻辑子句集成到目标任务的推理过程中，以检测多模态误解信息，通过在神经表示中参数化符号逻辑元素来实现学习的有效性，并引入五个元预测以使我们的框架具有多样性。

    May, 2023

  • 逻辑驱动的上下文扩展和数据增强用于文本逻辑推理

    本研究提出了一种理解文本中逻辑符号和表达式以得出答案的方法，并基于此提出了一种扩展文本上下文的框架和一种数据增广算法，可以更好地捕捉逻辑信息，特别是关于逻辑否定和条件关系，结果表明这种方法在 ReClor 数据集上实现了最先进的性能，多模型集成系统是第一个在 ReClor 的 EASY 和 HARD 数据集上超过人类表现的系统。

    May, 2021

  • SNIFFER: 可解释的跨语境误信息识别的多模态大型语言模型

    SNIFFER 是一种特别针对超文本误导检测和解释的新型多模态大型语言模型，通过在 InstructBLIP 上进行两阶段的指令调整，不仅能够检测文字和图像之间的不一致性，还可以利用外部知识进行上下文验证，实验证明 SNIFFER 的检测准确性超过了原始的 MLLM 超过 40%，并且在解释能力方面也优于最先进的方法。

    Mar, 2024

  • RAGAR: RAG 增强的政治事实检验的虚假识别雷达，基于多模态大语言模型的推理

    通过将大型语言模型（LLMs）与基于检索增强生成（RAG）的先进推理技术相结合，本研究提出了两种创新方法（CoRAG 和 ToRAG），以增强多模态事实检验的可靠性和效率。通过分析文本和图像的多模态 LLMs，该研究推动了自动化系统在辨别和对抗错误信息方面的能力。

    Apr, 2024

  • 新闻中检测上下文不相关的图像 - 标题对的一种违反常识的方法

    利用生成图像模型检测新闻中图像与标题对的脱离语境使用，为廉价伪造检测领域的进一步研究提供新方法和数据集，通过定性和定量分析评估图像生成模型及图像相似度计算方法的性能。

    Aug, 2023

  • 利用基于聊天的大型视觉语言模型进行多模式场景外检测

    证明了在多模态的背景下，通过对数据集进行微调，可以显著提高大视觉 - 语言模型在超文本检测任务中的性能。

    Jan, 2024