Aug, 2023

感应网络：用于自监督声源定位的音频 - 视觉模态缺口填补

PDF
TL;DR通过引入感应网络和自适应阈值选择策略，本研究提出了一种用于自我监督声源定位的方法，以解决模态不一致性问题，并实现音频 - 视觉的一致对齐。在 SoundNet-Flickr 和 VGG-Sound Source 数据集上的实验证实了其在不同挑战场景中相较于其他最先进方法的优越性能。
self-supervised sound source localizationcontrastive learningmodality inconsistencyinduction networkaudio-visual alignment
发现论文，激发创造
  • 音频视觉空间融合与递归注意力的稳健声源定位

    提出了一种音频 - 视觉空间整合网络，利用音频和视觉模态的空间线索来模仿人类在检测制造声音的对象时的行为，并引入了递归注意网络来递归地专注于对象，从而形成更准确的注意区域，通过利用音频 - 视觉模态的空间线索和递归地关注对象，我们的方法可以实现更稳健的声源定位，全面的实验结果表明了该方法优于现有方法。

    Aug, 2023

  • 基于语言引导的三模态一致性音视频源分离

    利用自监督学习方法，通过自然语言查询基于无标注视频和音频对进行音频源分离的学习，以学习将声音发射对象的语言描述与其视觉特征和相应的音频波形组件相结合，其方法通过视觉 - 语言基础模型和两种新的损失函数提供伪目标监督，并在推理阶段能够分离声音，即使没有目标检测器或文本标签。

    Mar, 2023

  • 通过概率空间建模的自监督神经音频视觉声源定位

    该论文介绍了一种利用 360 度图像和多通道音频信号的自监督训练方法来训练深度神经网络以区分多个声源对象的系统，旨在解决自主机器人理解周围环境的问题。

    Jul, 2020

  • 学习在视觉场景中定位声源：分析与应用

    本项研究提出一种基于双流网络的无监督算法，用于在视觉场景中定位声源，并针对该算法所存在的误差问题通过半监督学习进行修正，从而增强了算法的可靠性和泛化性。

    Nov, 2019

  • 自监督音视频共分割

    本文介绍了一种利用神经网络结合自我监督从自然视频学习进行视觉目标分割和音源分离的模型，通过学习来自然视频实现对于神经网络中不同分区域分配不同概念的语义类别，从而实现了音视频训练后的独立声音源分离和图像分割。与基准测试相比，实验证明这种去耦合模型在语义分割和声音源分离任务上表现优异。

    Apr, 2019

  • 用于混音声源定位的音视频分组网络

    本文提出了一种 AVGN 网络，通过可学习的音频 - 视觉类别权重直接学习每个音频源的语义特征，可以同时定位多个音频源，达到了先进的音响目标定位效果。

    Mar, 2023

  • 弱监督音视频来源定位的深入探究

    本文提出了一种新的视听源定位方法，通过扩展音频图片嵌入的训练数据以及采用新的评估方法来解决定位不准确和过拟合的问题。

    Aug, 2022

  • 迭代对比学习的无监督声音定位

    本文提出了一种无需数据注释的迭代对比学习框架，用于声音定位任务，在图像中预测的定位结果和从音频信号中推断的语义关系被用作伪标签，并通过迭代策略逐渐促进声源的定位。实验结果表明，该框架在声音定位任务上表现良好，优于现有的无监督和弱监督方法。

    Apr, 2021

  • 学习在视觉场景中定位声源

    本文提出一种新颖的无监督学习算法，可以通过观察声音和视觉场景对来仅仅聚焦声音源，在仅仅几个监督的情况下可以有效地纠正错误的结论并定位声音源.

    Mar, 2018

  • 发出声音的物体

    本文提出了一种利用未标记视频进行跨模态自监督学习的网络架构，实现音频和视觉之间的信息检索和图像中声音对象的准确定位，同时探究了基于 AVC 任务的网络架构设计方法，并与此相关的数据准备问题进行了讨论。

    Dec, 2017