Jul, 2024

视听对齐：通过音视频对齐来实现先进的声源定位

HTML
PDF
TL;DR通过综合分析现有方法、基准、评估指标和跨模态理解任务，我们提出了一个新的综合声源定位方法，该方法通过跨模态对齐策略增强跨模态交互能力，并在现有和新基准上使用新的和标准评估指标对竞争方法进行了广泛验证。
发现论文，激发创造
  • 学习在视觉场景中定位声源：分析与应用

    本项研究提出一种基于双流网络的无监督算法，用于在视觉场景中定位声源，并针对该算法所存在的误差问题通过半监督学习进行修正，从而增强了算法的可靠性和泛化性。

    Nov, 2019

  • 从粗定位到精确定位的多声源定位

    我们开发了一个基于视听学习框架的两阶段音频可视定位方法来解决在自然生动的视频中需要定位多个声音源的问题，该方法能够有效地将声音与特定的视觉来源进行对齐。

    Jul, 2020

  • 通过交叉模态干扰抹除实境中的视听定位

    本文提出了Interference Eraser（IEr）框架，用于处理复杂的真实场景中的音频-视觉声源定位问题。通过增强音频表示和采用跨模态引用模块的跨模态蒸馏，消除混杂声音和噪音对音频-视觉连接的干扰，在定量和定性评估中，我们的框架取得了在声音定位任务上卓越的结果。

    Feb, 2022

  • 简单实现的视觉声音定位

    本文提出了一种名为EZ-VSL的简单而有效的无监督音频-视觉源定位方法，旨在识别视频中的可见声源，其采用对齐音频和视觉空间的方法来实现，在Flickr SoundNet和VGG-Sound Source数据集上均取得了良好的表现，特别是在CIoU方面从76.80%提高到了83.94%。

    Mar, 2022

  • 弱监督音视频来源定位的深入探究

    本文提出了一种新的视听源定位方法，通过扩展音频图片嵌入的训练数据以及采用新的评估方法来解决定位不准确和过拟合的问题。

    Aug, 2022

  • 混合声音源的本地化

    我们提出了一种同时定位视觉场景中多个声源的方法，使用 Jabri 等人的对比随机漫步所启发的模型，并结合了视听相似性度量，能够较好地解决声音混合的分离与声音和视觉信号的联合问题，实验结果表明该模型在定位多个声源方面优于其他自监督方法。

    Nov, 2022

  • 音频到视觉潜在对齐的声音转视觉场景生成

    本文提出了一种通过声音生成场景图像的方法，采用了深度学习等技术，结合声音定位和跨模态信息对齐来提高图像生成质量，并在相关数据集上得到了较好结果。

    Mar, 2023

  • 音频视觉空间融合与递归注意力的稳健声源定位

    提出了一种音频-视觉空间整合网络，利用音频和视觉模态的空间线索来模仿人类在检测制造声音的对象时的行为，并引入了递归注意网络来递归地专注于对象，从而形成更准确的注意区域，通过利用音频-视觉模态的空间线索和递归地关注对象，我们的方法可以实现更稳健的声源定位，全面的实验结果表明了该方法优于现有方法。

    Aug, 2023

  • 声源定位是关于跨模态对齐的全部内容

    我们提出了一个跨模态对齐任务作为声源定位的联合任务，以更好地学习音频和视觉模态之间的交互，并在声源定位和跨模态检索方面超越了现有的方法，从而实现了较高的定位性能和强大的跨模态语义理解。

    Sep, 2023

  • 无先验源信息混合音频中学习视觉定位声源

    本文提出了一种新颖的多声源定位方法，可以在不需要声源数量先验知识的情况下实现准确的声源定位。该方法利用迭代对象识别模块识别声音制造物体，并通过对象相似性感知聚类损失指导迭代对象识别模块有效地合并相同物体的区域，同时区分不同的物体和背景。通过在MUSIC和VGGSound数据集上进行广泛实验，对比现有方法，我们的方法在单声源和多声源的定位任务上均取得显著的性能提升。

    Mar, 2024