audiovisual | BriefGPT - AI 论文速递

关键词audiovisual

搜索结果 - 8

AV-CrossNet: 一种用于语音分离的音视频复杂频谱映射网络，利用窄频和交叉频带建模
添加视觉线索到基于音频的语音分离可以提高分离性能。本文介绍了一种名为 AV-CrossNet 的音视系统，用于语音增强、目标说话人提取和多说话人分离。AV-CrossNet 扩展自 CrossNet 架构，它是一种最近提出的网络，通过利用全
PDF17 days ago
CVPRAVFormer: 为冻结的语音模型注入视觉信息以实现零样本 AV-ASR
AVFormer 是一种简单的方法，使用轻量级可训练的适配器将视觉嵌入注入到冻结的语音识别模型中，并引入了一种培训方案。同时用小量且弱标注视频数据进行培训。实验结果表明，该方法在三个不同的音视频 ASR 基准（How2、VisSpeech
PDFa year ago
音视频交叉模态检索中标签空间的完整三元组损失
本文提出了一种新的 AV-CMR 模型，通过直接预测标签并使用完整的交叉三元组损失来优化语义特征，从而优化音频 - 视觉数据之间的内在相关性，解决了模型训练敏感性问题和选取困难问题。在两个音频 - 视觉双重检查数据集上的广泛实验结果表明，与
PDF2 years ago
一种基于虚拟现实的音视调语知觉检测方法
本文介绍了一种使用虚拟现实检测音频视觉韵律的方法，并探讨了其在考察人工耳蜗听众韵律感知方面的应用。
PDF2 years ago
¡ 太神奇了！西班牙语中的多模式讽刺检测：数据集和基线
构建了第一个西班牙语多模态讽刺数据集，其中包括两种西班牙语变体。通过将文本对齐到视频和音频，我们呈现了用于讽刺检测的几种模型。结果表明，结合文本、音频和视频的所有模态可以得到最佳结果。
PDF3 years ago
CVPR自我监督多模态知识蒸馏：利用声音进行多物体检测与跟踪
提出了一种新颖的自监督 MM-DistillNet 框架，利用多个教师的多样性模态（包括 RGB、深度和热成像）来同时利用互补线索并将知识蒸馏到单一的音频学生网络中，而且还引入了一种新的自监督假设任务来使我们不依赖于人工标注。该方法在探测物
PDF3 years ago
CVPRSTAViS: 时空音视频显著性网络
介绍了 STAViS，一种空时音频视觉显著性网络，通过单个网络利用视觉显着性和听觉功能来解决视频中的显著性估计问题，并在多个数据集上性能表现出色，可以用于估算野外环境下的显著性映射。
PDF4 years ago
ACL多模态讽刺检测（一篇_显然_完美的论文）
本文提出了一个基于多模态线索的新的讽刺数据集 (MUStARD)，并且证明了将多模态信息应用于讽刺检测可以将相对误差率降低高达 12.9%。
PDF5 years ago