May, 2024

音视融合技术增强儿童视频多模态内容审核

PDF
TL;DR针对面向儿童的视频内容创作数量的增加，需要强大的视频托管平台内容审核方案。我们提出了一种有效的 CLIP 适应方法，利用上下文音频提示来增强内容审核，通过冻结各个模态的背景模块，将音频模态和提示学习融合，对多模态版本的恶意或良性数据集进行了实验。
content moderationvideo hosting platformsaudio cuesmultimodal architecturesclip adaptation
发现论文，激发创造
  • 儿童视频内容的视觉语言模型用于内容管理的潜力

    该研究通过评估多种 CLIP 变种模型在儿童动画视频内容管理中的性能，展示了 Vanilla CLIP with Projection Layer 模型在提供更多上下文环境的内容管理提示方面优于以往工作的结果。研究结果表明，在内容管理提示中加入更多上下文对于卡通视频是必要的，因为它们在 CLIP 训练数据中的表示不足。

    Dec, 2023

  • 恶意还是良性？针对儿童视频的有效内容管理

    本研究介绍了一款工具，可以自动检测儿童视频是否存在恶意内容，包括可定制注释工具、数据集和基准测试套件。

    May, 2023

  • 在 CLIP 中融合音频信息进行多模态处理

    本文研究了视觉 - 语言 - 音频多模态处理技术，提出了基于对比学习思想的 CLIP4VLA 模型，并在视频检索和视频字幕生成等多个任务中得到了最优结果。

    Mar, 2023

  • 探索音频在视频字幕中的作用

    本研究提出了一种音视频框架，利用原始音频信号学习，通过 Modality Balanced Pre-training 优化模型，且采用局部和全局融合机制进行信息交换，以提高视频字幕生成的性能。

    Jun, 2023

  • MIS-AVioDD: 音频 - 视觉深度伪造检测的模态不变和特定表示

    本文研究针对深度伪造技术的威胁，提出了一种在表征层面上辅助音频和视觉融合的多模态深度伪造检测方法，通过使用模态不变和特定的表 征确保保留表示真实或伪造内容的共同模式和每个模态的特定模式，实验证明该方法相比于单模态和多模态音 视频深度伪造检测的最先进方法能够提高 17.8% 和 18.4% 的准确性。

    Oct, 2023

  • 使用多模式分层交叉注意力模型标记在线视频中的喜剧恶作剧内容

    我们提出了一种新颖的端到端多模态系统用于探测在线媒体中的可疑内容，特别是针对喜剧恶作剧这一子类别。

    Jun, 2024

  • 从视觉和声音模态获取无文本情感的可扩展多模态情感分类

    本文介绍了一种多模态融合模型，该模型专门使用高级视频和音频特征来分析口语句子的情感。该模型在 CMUMOSEI 数据集上进行了训练和测试，并获得了验证集上的 F1 得分 0.8049 和挑战测试集上的 F1 得分 0.6325。

    Jul, 2018

  • 通过语义融合验证多媒体内容审核软件

    介绍了语义融合、一个用于验证多媒体内容审查软件的通用有效方法，将现有单模输入融合成具有毒性构造的新输入，用于验证多媒体内容审查软件。通过实验结果表明该方法提高了模型的鲁棒性和错误发现率。

    May, 2023

  • 多语种和多模态滥用检测

    本文提出了一种多模态方法（MADA），以从社交媒体上的多语言对话音频中检测滥用内容为目标，并证明利用其他模态的判别信息对音频建模可以极大地提高性能。实验证明，MADA 可以在 ADIMA 数据集上取得比仅使用音频的方法更好的表现，并且在测试了 10 种不同语言后，在多模态结合的情况下可以获得 0.6％-5.2％ 的一致增益。 此外，我们还做了实验证明了潜在情绪和虐待行为之间存在强烈的相关性。

    Apr, 2022

  • 从非对称角度用混合多模态方法重新思考多模态内容审核

    本文介绍了一种新的混合多模式内容调节模型，AM3，用于针对多模式和单模式内容调节任务。我们提出了一种新的跨模态对比损失方法来学习仅出现在多模态内容中的独特知识，并证明了该方法在多模态和单模态内容调节基准测试中优于所有现有的最先进方法。

    May, 2023