本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

May, 2021

社交媒体平台的爆炸性增长在人类社会中带来了沟通和内容传播的革命，但是这些平台越来越被滥用以传播有毒内容，包括仇恨言论、恶意广告和色情，导致对青少年心理健康的严重负面影响。本文提出了一种名为 OASIS 的元变形测试框架，用于测试内容审查软件的性能，该框架通过从社交媒体应用中收集的真实有毒内容总结出 21 个变形规则。评估结果显示，OASIS 能够达到高达 100% 的错误发现率，并且通过使用 OASIS 生成的测试用例对模型进行重训练，能够提高内容审查模型的鲁棒性而不降低性能。

Aug, 2023

针对面向儿童的视频内容创作数量的增加，需要强大的视频托管平台内容审核方案。我们提出了一种有效的 CLIP 适应方法，利用上下文音频提示来增强内容审核，通过冻结各个模态的背景模块，将音频模态和提示学习融合，对多模态版本的恶意或良性数据集进行了实验。

May, 2024

使用基于变形的测试框架对文本内容审核软件进行了评估，结果显示该框架可以评估商业内容审核软件和基于机器学习的算法，并降低了先前算法无法有效处理含有恶意内容的文本的问题。

Feb, 2023

本研究通过引入一个基准数据集，首次探索了多模式母语混杂视频内容中有害内容的检测问题，设计了一个先进的多模态多任务框架来进行视频内容的毒性检测，并通过整合视频的多个语言模式大大提高了检测效果。

May, 2024

本文介绍了一种新的混合多模式内容调节模型，AM3，用于针对多模式和单模式内容调节任务。我们提出了一种新的跨模态对比损失方法来学习仅出现在多模态内容中的独特知识，并证明了该方法在多模态和单模态内容调节基准测试中优于所有现有的最先进方法。

May, 2023

本文提出了一种基于深度学习的、用于评估包含图像和标题的多媒体包的语义完整性的方法，这样可以检测包的操纵，他们利用一个引用数据集创建图像和标题的联合嵌入，并提供了图像 - 标题一致性得分。作者们还提出了 MultimodAl 数据操纵数据集 (MAIM)，用来验证这种方法的性能。在检测语义不一致的媒体包方面，本方法的 F1 得分分别为 0.75、0.89 和 0.94。

Jul, 2017

本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

Mar, 2022

本研究提出了两种新方法：对比学习和掩码语言建模，以检测短视频社交媒体帖子中的语义不一致性，证明这些方法优于当前的最先进方法，可用于检测社交媒体帖子中的错误信息。

Feb, 2022

通过结合音频和文本表征，利用 Transformer 方法和自主开发的 “Attentive Fusion” 层，本研究提出了一种识别言论是否宣扬仇恨的方法，取得了 0.927 的宏 F1 得分，超过了此前最先进的技术。

Jan, 2024