南非社交媒体环境中的多模态错误信息检测

Dec, 2023

南非社交媒体环境中的多模态错误信息检测

Multimodal Misinformation Detection in a South African Social Media Environment

Amica De Jager, Vukosi Marivate, Abioudun Modupe

TL;DR本研究旨在调查虚假信息检测模型在不同背景环境下的知识可转移性，为南非社交媒体环境提供一种多模态虚假信息检测模型，并引入南非虚假信息数据集。结果表明，将南非样本用于模型训练可以提高模型性能，并且多模态模型比文本和视觉单模态模型保留更多知识。研究表明，虚假信息检测模型的性能受其运行环境的文化细微差别影响，并且多模态模型有助于在不同背景环境之间的知识转移。因此，在虚假信息检测模型的训练过程中应该纳入本地数据以优化模型性能。

Abstract

With the constant spread of misinformation on social media networks, a need has arisen to continuously assess the veracity of digital content. This need has inspired numerous research efforts on the development of misinformation detection (MD) models. However, many models do not use all information available to them and existing research contains a lack of r

misinformation detection south african social media multimodal model transferability of knowledge cultural nuances

发现论文，激发创造

多模态虚假信息检测：方法、挑战及机遇

本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

Mar, 2022

提高多模态假新闻检测的泛化能力

本文提出了三种基于多模态 transformer 的假新闻检测模型，并通过深入分析操纵数据的方法来探索这些模型在社交媒体上实际使用情况下的性能。研究发现，这些系统在面临被操纵的数据时会出现显著性能下降。为了减少偏差并改善模型的推广能力，本文建议使用数据增强技术对社交媒体上的假新闻检测进行更有意义的实验。所提出的数据增强技术使得模型的泛化能力得到了提高，并获得了最先进的效果。

May, 2023

MMIDR：通过知识蒸馏教授大型语言模型解读多模态误信息

提出了 MMIDR 框架，用于教授大型语言模型在多模态错误信息检测中提供流畅、高质量的文本解释，通过数据增强和流程设计，将多模态错误信息转化为适当的指令遵循格式，再利用知识蒸馏方法将专有模型的解释能力传递给开源模型，实验证明 MMIDR 具有足够的检测性能，并能够提供有力的解释支持。

Mar, 2024

通过多模态特征对鲁棒领域虚假信息检测

社交媒体误导信息对个人和社会有害，并且多模态内容（即文本和图像）使其更具 “可信度”，高于仅有文本的新闻报道。我们提出一种新颖的鲁棒领域与多模态方法（RDCM），用于多模态误导信息的检测，通过领域内对齐模块降低领域漂移，并通过跨模态对齐模块弥合两种模态之间的语义差距。在两个公开的多模态误导信息检测数据集（Pheme 和 Twitter 数据集）上的评估结果证明了该模型的优越性。

Nov, 2023

可解释的多模态逻辑推理误信息检测

提出一种新颖的基于逻辑的神经模型，该模型将可解释的逻辑子句集成到目标任务的推理过程中，以检测多模态误解信息，通过在神经表示中参数化符号逻辑元素来实现学习的有效性，并引入五个元预测以使我们的框架具有多样性。

May, 2023

使用可解释的神经符号模型检测上下文不一致的多模态错误信息

本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

Apr, 2023

训练事实验证器的方法：多模态开放模型的知识传递

通过知识传递策略，可以提高模型性能，从而有效验证消息的真实性，扩大网络警察机制的规模，减轻虚假和有害内容的传播。

Jun, 2024

DisinfoMeme：一种用于检测有意传播虚假信息的多模态数据集

本研究旨在帮助检测社交媒体上具有传播不实信息优势的迷因，研究人员构建了名为 DisinfoMeme 的数据集，覆盖了 COVID-19 大流行、黑人的命也是命运动以及素食主义 / 素食主义等三个流行话题，探讨了它们的特点，并在数据集上测试了多种模型，结果表明目前模型的提升空间仍然很大。

May, 2022

多模态虚假信息检测调查

本研究为现有多模式虚假信息检测技术提供了一份综述，重点关注了文本、图像、语音、视频、社交媒体网络结构和时间信息等多种组合形式，并探讨了未来研究的方向和挑战，同时提出需要在相同框架内考虑虚假信息的真实性和危害程度。

Mar, 2021

合成的不实信息生成者：多模态虚假信息的生成和打击

本研究针对多模态虚假信息检测，提出了基于 CLIP 的命名实体交换的依据。我们提供了包括图像 - 标题不匹配 (OOC)、跨模态命名实体不一致 (NEI) 和混合方法在内的新的和现有的综合比较研究，以便评估检测模型的性能。我们的研究结果表明 CLIP-based Named Entity Swapping 可以提高模型的多模态准确性，而混合方法可以进一步提高检测准确性

Mar, 2023