May, 2023

在双曲空间中学习弱监督的音视频暴力检测

PDF
TL;DR本文提出了一种基于超几何空间的弱监督音视频暴力检测框架 HyperVD，通过多模态融合和全超几何图卷积网络等方法来提高模型的判别能力，收益于在此空间中学习片段表示方法，最终在 XD-Violence 基准测试中超越同领域最优性能的方法。
weakly supervisedaudio-visual violence detectionhyperbolic spacemultimodal fusionfully hyperbolic graph convolutional networks
发现论文，激发创造
  • 不仅仅看，还要听：弱监督下学习多模态暴力检测

    本文提出了一种基于多模态的神经网络的暴力检测方法，通过发布了一个大规模多场景的数据集 XD-Violence，证明了该方法在判断暴力视频方面的优越性，并通过实验证明了多模态（包括视听）输入和建模关系的积极影响。

    Jul, 2020

  • 超几何音频 - 视觉零样本学习

    音频 - 视频零样本学习通过使用双模态数据进行超几何学习，探索更复杂的层次化数据结构，实现曲率感知，从而在 VGGSound-GZSL、UCF-GZSL 和 ActivityNet-GZSL 三个数据集上实现了 3.0%、7.0% 和 5.3% 的调和平均改进。

    Aug, 2023

  • 超几何度量学习用于视觉异常检测

    使用双曲几何的度量框架提高超出分布检测的性能，并探索其与嵌入维度的关系，改善在资源受限环境中的实际应用。

    Mar, 2024

  • 计算机视觉中的双曲深度学习：一项调查

    本文介绍超几何学习在计算机视觉中的应用，并提出了三个主要的研究主题，包括超几何学习的实现、已有研究中的关键问题以及相关领域的未来方向。

    May, 2023

  • 双曲卷积神经网络

    使用双曲空间构建泛化的超球面卷积神经网络，以捕捉数据中的层次结构和提高性能。

    Aug, 2023

  • 使用合成标题进行超球学习的开放世界检测

    通过将视觉语言模型 (VLMs) 的知识传递进行启发式操作，从而丰富开放词汇的图像描述。同时，采用新的超几何视觉语言学习方法对合成字幕产生的噪音进行缓解，实现了视觉与字幕嵌入之间的层次关系。在各种开放世界检测基准测试 (COCO、LVIS、Object Detection in the Wild、RefCOCO) 上进行了广泛实验，结果表明我们的模型在使用相同的主干网络时，始终优于现有的 GLIP、GLIPv2 和 Grounding DINO 等最先进方法。

    Apr, 2024

  • 双曲深度神经网络：一份调查

    本文介绍了超半径神经网络的模型以及各个组成部分，探究了其在超几何空间的深度学习方法、机器学习任务上的应用，提出了未来研究方向。

    Jan, 2021

  • 基于模态感知的对比实例学习与自监督蒸馏用于弱监督的音视频暴力检测

    本文提出一种基于弱监督学习的音视频暴力检测方法，通过模态感知对比学习与自我蒸馏策略，有效地提高了音视频一致性，克服了多通道学习中的异质性问题，并在大规模 XD-Violence 数据集上达到更优的检测性能。

    Jul, 2022

  • MissionGNN: 基于层次多模态图神经网络的弱监督视频异常识别与任务特定知识图生成

    这篇论文介绍了一种基于层次图神经网络（GNN）的新型模型 MissionGNN，通过利用先进的大型语言模型和全面的知识图谱，在 VAR 的弱监督学习中解决了异常检测和识别中的挑战。通过自动化的任务特定知识图生成，我们的模型提供了一种实际高效的解决方案，可以在实时视频分析中实现完全的帧级训练，避开了先前基于分割或多模态方法的限制。在基准数据集上的实验验证证明了我们模型在 VAD 和 VAR 中的性能，突显了它在视频监控系统中重新定义异常检测和识别领域的潜力。

    Jun, 2024

  • 通过困难负例采样理解双曲度量学习

    最近几年，将双曲几何方法融入计算机视觉领域的趋势日益增长。本研究调查了将双曲空间整合到度量学习中的效果，特别是在使用对比损失进行训练时。我们通过深入研究评估了使用混合目标函数的视觉变换器 (ViTs) 结果来解决现有文献中关于对比损失温度影响的问题，并提供了观察到的性能改进的理论分析。我们还揭示了双曲度量学习与困难负样本抽样的密切关系，为未来的工作提供了思路。我们的代码可在线获取。

    Apr, 2024