多尺度瓶颈变形器用于弱监督的多模态暴力检测

May, 2024

多尺度瓶颈变形器用于弱监督的多模态暴力检测

Multi-scale Bottleneck Transformer for Weakly Supervised Multimodal Violence Detection

Shengyang Sun, Xiaojin Gong

TL;DR通过利用多种多样性的模态，如 RGB，光流和音频，以及仅具备视频级别注释的多模态暴力检测模型的学习，我们提出了一种新的弱监督多模态暴力检测方法，明确解决了信息冗余，模态不平衡和模态异步性等三个关键挑战，进一步提出了一种时间一致性对比损失来语义对齐成对融合特征。在最大规模的 XD-Violence 数据集上的实验表明，提出的方法实现了最先进的性能。

Abstract

weakly supervised multimodal violence detection aims to learn a violence detection model by leveraging multiple modalities such as RGB, optical flow, and audio, while only video-level annotations are available. In the pursuit of effective multimodal violence detection (MVD), informatio

weakly supervised multimodal violence detection multi-scale bottleneck transformer modality imbalance modality asynchrony temporal consistency contrast loss

发现论文，激发创造

不仅仅看，还要听：弱监督下学习多模态暴力检测

本文提出了一种基于多模态的神经网络的暴力检测方法，通过发布了一个大规模多场景的数据集 XD-Violence，证明了该方法在判断暴力视频方面的优越性，并通过实验证明了多模态（包括视听）输入和建模关系的积极影响。

Jul, 2020

高效多尺度多模态瓶颈变压器用于音视频分类

本文介绍了一种多尺度多模态转换器（MMT），利用层次化表示学习，进一步使用音频 - 视频对比损失和同模态对比损失来实现多模态融合，提高动作识别准确率。

Jan, 2024

高效的选择性音频屏蔽多模声道变换器用于音频 - 视频分类

提出了一种名为 AVT 的新颖的音视频识别方法，利用视频 Transformer 在时空上的表示来提高动作识别的准确性，并通过音视频瓶颈 Transformer 减少跨模态复杂度，融合自监督目标，而进一步引入一个屏蔽音频片段损失，以学习 AVT 中的语义音频活动。在多个数据集上的实验及消融研究一致表明 AVT 方法的有效性。

Jan, 2024

多模态融合中的注意力瓶颈

本篇论文介绍了一种基于 transformer 的新颖架构，使用多层的融合瓶颈来进行多模态融合，实现了在多个音视频分类基准测试上的最新的结果，同时降低了计算成本。

Jun, 2021

动态多模态信息瓶颈的多模态分类

利用多模态数据，在医学诊断和预测任务中有效利用各种图像、实验室测试和临床信息的人工智能技术正在发展。本研究通过研究现有方法对数据冗余和噪声的鲁棒性，提出了一种广义的动态多模态信息瓶颈框架，用于获得稳健的融合特征表示。通过大量实验证明，我们的方法超越了现有技术，在存在大规模噪声通道时仍然具有优越性能。

Nov, 2023

基于模态感知的对比实例学习与自监督蒸馏用于弱监督的音视频暴力检测

本文提出一种基于弱监督学习的音视频暴力检测方法，通过模态感知对比学习与自我蒸馏策略，有效地提高了音视频一致性，克服了多通道学习中的异质性问题，并在大规模 XD-Violence 数据集上达到更优的检测性能。

Jul, 2022

利用互信息最大化进行视频多模态融合的降噪瓶颈

本论文提出了一种细粒度的视频多模态融合去噪模型（DBF），它使用了瓶颈机制来过滤噪声和冗余信息，并采用互信息最大化模块来调节过滤器以保留不同模态中的关键信息。实验表明，我们的 DBF 模型在多个基准测试中均取得了显着的改进效果，涵盖了多模态情感分析和多模态摘要等任务，证明了该模型可以有效地从嘈杂和冗余的视频，音频和文本输入中捕捉到显著特征。

May, 2023

多模态平衡感知梯度调控弱监督音视频解析

本文提出了一种利用动态梯度调制机制来平衡不同语音和视觉模态特征学习的方法，并设计了一种实现精确测量的模态分离决策单元来处理多模式混淆问题，实验证明该方法的有效性。

Jul, 2023

FM-ViT：面部反欺诈的灵活模态视觉变压器

本文提出了一种基于 Transformer 的框架，名为 Flexible Modal Vision Transformer (FM-ViT)，用于面部防欺骗，以灵活地针对任何单模态攻击情景和可用的多模态数据。实验结果表明，单个基于 FM-ViT 的模型不仅可以灵活评估不同的模态样本，而且在较小的 FLOPs 和模型参数的情况下，也可以超越现有的单模态框架，并与多模态框架的性能相当。

May, 2023

基于强化学习的混合视觉变换器用于视频暴力识别

基于深度学习的视频暴力识别研究了准确且可扩展的人类暴力识别问题。本文提出了一种基于 Transformer 的新型专家混合 (MoE) 视频暴力识别系统，通过智能组合大型视觉 Transformer 和高效 Transformer 结构，系统不仅充分利用了视觉 Transformer 架构，还降低了使用大型视觉 Transformer 的成本。通过强化学习路由器，该架构最大化了暴力识别系统的准确性，并积极降低了计算成本。实证结果显示，在 RWF 数据集上，所提出的 MoE 架构相较于基于 CNN 的模型具有卓越的 92.4% 准确率。

Oct, 2023