audio-visual features | BriefGPT

关键词audio-visual features

搜索结果 - 6

跨注意力并非必需：音频 - 视觉维度情感识别的动态跨注意力
视频情绪识别中，音频和视觉模态通常被期望具有互补关系，本研究提出了动态交叉注意力（DCA）模型来动态选择跨模态特征的交叉注视或不注视，以优化音频 - 视觉特征的表示，从而提升系统性能。在 RECOLA 和 Aff-Wild2 两个具有挑战性
PDF3 months ago
eMotions：一份用于短视频情绪识别的大规模数据集
现今，短视频对于信息获取和分享至关重要。鉴于短视频情感数据的缺乏，我们介绍了一个大规模的数据集，名为 eMotions，包含 27996 个视频。我们通过优化人员分配和多阶段注释来减轻主观因素对标签质量的影响。另外，我们通过有针对性的数据采
PDF7 months ago
音频感知的查询增强变换器用于音频 - 视觉分割
通过引入多模式变压器架构来深度融合和聚合音频 - 视觉特征，我们提出了一种新颖的音频感知查询增强转换器 (AuTR)，用于解决音频 - 视觉分割任务。实验结果表明，我们的方法在多声音和开放场景中具有更好的普适性和性能优势。
PDFa year ago
视听欺骗检测：DOLOS 数据集和参数高效的跨模态学习
本研究介绍了一个名为 DOLOS 的数据集并使用其进行欺骗检测研究，使用多任务学习和跨模态融合模块进行性能提升。
PDFa year ago
CVPR音频 - 视觉异常检测的自我监督视频取证
提出一种基于异常检测的视频取证方法，通过训练自回归模型使用视频帧和声音的特征集来区分真实视频和人工篡改的视频，具有较强的检测能力。
PDFa year ago
ICCV基于多模态深度模型的电影情感反应预测
本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的
PDF5 years ago