Nov, 2023

通过多模态特征对鲁棒领域虚假信息检测

PDF
TL;DR社交媒体误导信息对个人和社会有害，并且多模态内容（即文本和图像）使其更具 “可信度”，高于仅有文本的新闻报道。我们提出一种新颖的鲁棒领域与多模态方法（RDCM），用于多模态误导信息的检测，通过领域内对齐模块降低领域漂移，并通过跨模态对齐模块弥合两种模态之间的语义差距。在两个公开的多模态误导信息检测数据集（Pheme 和 Twitter 数据集）上的评估结果证明了该模型的优越性。
social media misinformationmulti-modal contentsupervised misinformation detectiondomain shiftmulti-modal misinformation detection
发现论文，激发创造
  • 跨域多模态数据在假新闻检测中应用：接纳领域差异

    本研究介绍了一种新的自动检测跨领域新闻中虚假消息的技术，该技术整合了领域特定和跨领域知识，并利用一种无监督的选择性注释技术来减少标注成本，并在跨领域的新闻数据集上实现了最先进的性能。

    Feb, 2021

  • 学习域不变特征进行上下文外新闻检测

    提出了一种基于对比学习和最大均值差异的测试时间自适应的 Contrastive Domain Adaptation with Test-Time Adaptation (ConDA-TTA) 方法，用于多模态脱离上下文新闻检测问题，实验证明该方法在 7 个领域自适应设置中的 5 个上胜过基线方法，F1 指标有 2.93% 的提升，准确性提高了 2.08%。

    Jun, 2024

  • 多模态虚假信息检测：方法、挑战及机遇

    本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

    Mar, 2022

  • 基于对比领域自适应的早期虚假信息检测：以 COVID-19 为例

    本文提出了一种用于早期误报检测（CANMD）的对比适应网络，它通过伪标记和标签纠正组件相结合，有效地适应了未知 COVID-19 目标领域，与现有技术相比，取得了显著的改进。

    Aug, 2022

  • 使用可解释的神经符号模型检测上下文不一致的多模态错误信息

    本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

    Apr, 2023

  • COVID-19 信息服务的无监督域自适应对比敌对域混合

    本研究提出了一种基于对比学习和对抗域混合的无监督域自适应框架，用于将知识从现有数据域传递到目标 COVID-19 数据域，以适应 COVID-19 误信息检测系统。实验证明，我们的方法相比最新的基线算法能够有效地适应未知的 COVID-19 目标领域并取得显著的改进。

    Oct, 2022

  • 细粒度跨模态虚构和不协调情况的误信息检测框架

    本研究关注于通过图像 —— 标题对传播虚假信息的交叉多模态误传（CMM），并提出一种名为 FIGMENTS 的评估基准集合，以消除一模式偏见，并开发了一种名为 CHASMA 的方法来生成可靠的合成数据，最终得到了在二元和多类设置中提高了性能的结果。

    Apr, 2023

  • 基于记忆引导的多视角多域假新闻检测

    本文提出了一种名为 M$^3$FEND 的框架，通过从多视角建模内容，包括语义、情感和风格等，使用领域记忆库显著改进了领域信息，适应性地聚合多个视角的判别性信息，提高了跨领域假新闻检测的成功率。

    Jun, 2022

  • 南非社交媒体环境中的多模态错误信息检测

    本研究旨在调查虚假信息检测模型在不同背景环境下的知识可转移性，为南非社交媒体环境提供一种多模态虚假信息检测模型，并引入南非虚假信息数据集。结果表明，将南非样本用于模型训练可以提高模型性能，并且多模态模型比文本和视觉单模态模型保留更多知识。研究表明，虚假信息检测模型的性能受其运行环境的文化细微差别影响，并且多模态模型有助于在不同背景环境之间的知识转移。因此，在虚假信息检测模型的训练过程中应该纳入本地数据以优化模型性能。

    Dec, 2023

  • 无监督域间谣言检测中的对抗学习与交叉注意力

    通过对抗学习方法，结合交叉注意力机制和聚类方式产生伪标签，进一步优化了跨领域谣言检测模型，实现了领域间特征对齐，并提出了一种域不变表征方法，取得了业内领先的表现。

    Mar, 2023