audio-visual fusion | BriefGPT

关键词audio-visual fusion

搜索结果 - 9

SAVE: 音视频分段的简便方法使用分段模型
通过提出的 SAVE 模型，将预训练的 SAM 模型有效地适应 AVS 任务，通过在变压器块中引入图像编码器适配器和残差音频编码器适配器，实现有效的音频 - 视觉融合和交互，加速训练和推理速度，同时在输入图像分辨率从 1024 像素减少到
PDF4 days ago
基于递归融合的联合交叉注意力的音视频人员验证
通过递归融合的联合交叉关注模型和 BLSTMs，本研究有效地捕捉音频和视觉模态之间的内在和跨模态关系，显著提高了融合性能。
PDF4 months ago
音频 - 视觉个人验证的动态交叉注意力
通过动态交叉注意力（DCA）模型，本文提出了一种能够根据音频和视觉模态之间的强弱互补关系动态选择跨模态关注或不关注特性的模型。实验证明该模型在多个跨模态注意力变体上表现出稳健性，同时优于现有方法的性能。
PDF4 months ago
揭示视听早期融合变压器的强大力量：通过遮蔽建模实现密集交互
本文介绍了使用掩模重建框架和基于注意力的融合模块来训练早期融合的音频 - 视觉编码器，以实现高效深度集成的音频 - 视觉模型。实验证明该方法在音频事件分类、视觉声音定位、音频分离和音频 - 视觉分割方面表现优越，极大地推动了早期融合架构的应
PDF7 months ago
中心舞台：基于中心性的音频 - 视觉时域动作检测
利用多尺度交叉注意力融合视觉和音频模态的一步式动作检测方法，结合基于中心程度评分的网络头部，实现了在 EPIC-Kitchens-100 动作检测基准上最新的最佳性能。
PDF7 months ago
MIS-AVioDD: 音频 - 视觉深度伪造检测的模态不变和特定表示
本文研究针对深度伪造技术的威胁，提出了一种在表征层面上辅助音频和视觉融合的多模态深度伪造检测方法，通过使用模态不变和特定的表征确保保留表示真实或伪造内容的共同模式和每个模态的特定模式，实验证明该方法相比于单模态和多模态音视频深度伪造检测
PDF9 months ago
音视频说话人验证基于联合交叉注意力
通过跨模态联合注意力来提升说话人验证的性能，进一步发掘音频和视觉融合在说话人验证领域的潜力。
PDF9 months ago
多模态表示学习中早期融合的好处
该篇论文通过创建卷积 LSTM 网络结构，研究了多模态表示学习中视听融合的早期处理，结果表明，在初始 C-LSTM 层中立即融合音频和视觉输入可以提高网络的性能，使其更能够抵抗白噪声的干扰。
PDF4 years ago
学会识别面部超分辨率
本文提出了一种新颖的方法，利用音频和低分辨率图像进行极端人脸超分辨率，通过建立人脸的潜在表征并使用深度学习进行融合，以提高高分辨率图像重建过程的正确性，同时可以提取面部属性。
PDF5 years ago