audio-visual learning | BriefGPT

关键词audio-visual learning

搜索结果 - 7

CVPRMA-AVT：用于参数高效音频 - 视觉变换器的模态对齐
该论文介绍了一种新的参数高效的视听变压器 MA-AVT，采用深度模态对齐来实现对应的多模态语义特征的对齐，通过联合单模态和多模态令牌学习，引入冻结的模态共享变压器，使模型能够学习到每种模态的独立表示，并关注它们之间的跨模态关系。此外，在编码
PDF25 days ago
ICCV连续音频 - 视觉学习的增量聚类网络
提出了一种新颖的类增量分组网络 (CIGN)，可以学习类别级的语义特征，以实现持续的视听学习，取得了最先进的视听类别增量学习性能。
PDF10 months ago
CVPRRealImpact: 真实物体冲击声场数据集
研究团队构建了一个大规模的现实物体撞击声音数据集（RealImpact），并使用该数据集作为参照标准来校准仿真模型与真实模型之间的差距，同时还证明了该数据集的可用性来测试声学和视听学习。
PDFa year ago
通用教师遇见弱监督音视频事件解析器
通过较大比例的对比预训练模型作为模态教师的视听标签阐述 (VAOLOR)，我们在视频的未对齐设置中识别音频和视觉事件，并取得最新的最新成果，在所有 LLP 指标上实现了显着的优势 (+5.4 F-score for Type @ AV)。
PDFa year ago
音视频语境下的学习：一份综述、分析和新视角
介绍了视听感知、跨模态感知和协同感知在计算机视听学习中的重要性，综述了该领域的最新发展，并提出了关于场景理解的新视角和未来发展方向。
PDF2 years ago
CVPR左右分辨：学习视听的空间对应关系
使用自监督学习的方法，提出在音频流和视觉流中，通过匹配空间信息识别声源位置，通过实验得到能够有效训练的模型并通过大规模视频数据集 YouTube-ASMR-300K 进行评估，在音视频任务中得到比监督学习和其他自监督方法更高的性能，并证明了
PDF4 years ago
深度音视频学习综述
本篇论文综述了近期音视频学习发展的四个子领域：音视频分离和定位，音视频对应学习，音视频生成以及音视频表示学习，重点讨论其最先进的方法，剩余的挑战以及常用的数据集和性能评估。
PDF4 years ago