audio-visual | BriefGPT - AI 论文速递

关键词audio-visual

搜索结果 - 29

MMAVA-AVD: 野外音视频说话人分离
本研究致力于提高在野外视频中识别 “谁何时说话” 的音视频扬声器分离的准确性，它创建了 AVA 音频 - 视觉扬声器分离（AVA-AVD）数据集和一种称为 AVR-Net 的新方法，通过加入 AVA-AVD 数据集的训练可以在相对较小的数据
PDF3 years ago
ICCV音视频领导者 - 追随者注意力融合的连续情感识别
本文提出一种视听空间时域深度神经网络，其中包括预训练的二维 - CNN 和几个平行 TCNs，同时利用视听信息，通过跨验证来充分利用数据和缓解过度拟合，并使用交界面关注机制来强调视觉模态和利用嘈杂的听觉模态。在测试集中，本文的方法在 val
PDF3 years ago
从音频 - 视觉空间对齐中学习表示
介绍了一个针对学习自我监督前置任务的音频视频表示方法，通过引入 transformer 架构和空间对齐技术，提高了网络的感知和学习效率，结果表明，该方法在诸如音频视觉对应、空间对齐、动作识别、视频语义分割等多项任务中表现出良好的性能。
PDF4 years ago
ICLR使用 AudioScope 探索野外：屏幕上声音的无监督音频 - 视觉分离
本研究提出了一种名为 AudioScope 的音频 - 视觉分离框架，在无监督培训下从自然视频中分离屏幕上的声源。使用混合不变训练（MixIT）对混合物进行训练并在电影与音频特征之间调用注意力来识别音频 - 视觉相似性并抑制屏幕外声音。
PDF4 years ago
基于深度学习的音视频言语修复
本文介绍了一种基于深度学习的框架，用于音频 - 视觉的语音修复，展示了多任务学习与视觉信息对语音信号修复的有效贡献并比较了仅音频信息下的表现。
PDF4 years ago
现实世界会议的音视频发言人分离技术
该论文利用周围视视频和单通道或多通道音频生成强大的发言人识别输出，在真实世界会议中展示出优异的定量和定性性能，并探究了在可用多通道音频的情况下，通过集束成形和视频协同使用，进一步提高性能的方法。
PDF5 years ago
LRS3-TED: 用于视觉语音识别的大规模数据集
介绍一个包含 TED 演讲视频中的面部轨迹，字幕和单词对齐信息的大规模新型多模态数据集，适用于视觉和视听语音识别的研究。
PDF6 years ago
VoxCeleb2：深度语音说话人识别
本文介绍了一个大规模的音频 - 视觉说话人识别数据集，用于使用卷积神经网络模型和训练策略在各种条件下有效识别声音中的身份，并展示出比以前的成果更高的性能表现。
PDF6 years ago
多模态深度卷积神经网络实现音视频语音增强
提出了一种音视频深度卷积神经网络（AVDCNN）语音增强模型，该模型在音频处理方面结合了视觉信息，并采用多任务学习框架进行重建音频和视觉信号。实验表明，该模型在语音增强方面表现显著优异，证明了整合视觉信息的有效性，并且优于现有的音频 - 视
PDF7 years ago