可解释的多模态逻辑推理误信息检测

ACLMay, 2023

可解释的多模态逻辑推理误信息检测

Interpretable Multimodal Misinformation Detection with Logic Reasoning

Hui Liu, Wenya Wang, Haoliang Li

TL;DR提出一种新颖的基于逻辑的神经模型，该模型将可解释的逻辑子句集成到目标任务的推理过程中，以检测多模态误解信息，通过在神经表示中参数化符号逻辑元素来实现学习的有效性，并引入五个元预测以使我们的框架具有多样性。

Abstract

multimodal misinformation on online social platforms is becoming a critical concern due to increasing credibility and easier dissemination brought by multimedia content, compared to traditional text-only information. While existing multimodal detection approaches have achieved high per

multimodal misinformation neuralsymbolic ai logic-based neural model interpretable logic clauses meta-predicates

发现论文，激发创造

使用可解释的神经符号模型检测上下文不一致的多模态错误信息

本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

Apr, 2023

社交网络中检测谣言的可解释化模态框架

本文介绍了一种基于多模态视角的自动虚假信息检测方法，提出了一种基于可解释性方法的虚假信息分类框架，从而增加决策的可解释性和完整性。

Dec, 2022

多模态虚假信息检测：方法、挑战及机遇

本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

Mar, 2022

通过大规模语言模型之间的多模态辩论实现可解释的有害表情包检测

通过基于大型语言模型的多模态辩论和小型语言模型的调优，我们提出了一种可解释的方法来检测有害的互联网迷因，使模型能够对模糊和隐含的危害模式进行辨别，并提供可视化的解释。

Jan, 2024

提升基于内容的虚假信息检测的关键符号特征捕捉

通过分析虚假信息的语言属性及相关数据集，本论文展示了在检测虚假内容方面，采用相关符号知识和神经语言模型的适当使用可以取得最先进的性能，在准确性、时间效率和资源利用方面提供了有效且稳健的替代方法。

Jan, 2024

MMIDR：通过知识蒸馏教授大型语言模型解读多模态误信息

提出了 MMIDR 框架，用于教授大型语言模型在多模态错误信息检测中提供流畅、高质量的文本解释，通过数据增强和流程设计，将多模态错误信息转化为适当的指令遵循格式，再利用知识蒸馏方法将专有模型的解释能力传递给开源模型，实验证明 MMIDR 具有足够的检测性能，并能够提供有力的解释支持。

Mar, 2024

揭示具多模态推理所精炼之大型语言模型背后的有害迷因

本论文提出了一种基于多模态信息相互作用的先进推理的检测有害模因的方法，通过利用大型语言模型的推理能力和生成框架，实现了对有害模因的优化检测。实验证明该方法在有害模因检测任务上表现优于现有方法。

Dec, 2023

多模态和可解释的网络模因分类

本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难，旨在设计实现一个多模态分类方法，利用文本和图像来识别有害的网络谣言，通过举例和原型推理比较示范算法之间的性能差异，为社区提供启发，同时设计一种用户友好的界面以方便对比分析结果。

Dec, 2022

合成的不实信息生成者：多模态虚假信息的生成和打击

本研究针对多模态虚假信息检测，提出了基于 CLIP 的命名实体交换的依据。我们提供了包括图像 - 标题不匹配 (OOC)、跨模态命名实体不一致 (NEI) 和混合方法在内的新的和现有的综合比较研究，以便评估检测模型的性能。我们的研究结果表明 CLIP-based Named Entity Swapping 可以提高模型的多模态准确性，而混合方法可以进一步提高检测准确性

Mar, 2023

社交媒体新闻帖子中的多模态语义不一致检测

本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

May, 2021