本项研究提出一种基于双流网络的无监督算法,用于在视觉场景中定位声源,并针对该算法所存在的误差问题通过半监督学习进行修正,从而增强了算法的可靠性和泛化性。
Nov, 2019
我们开发了一个基于视听学习框架的两阶段音频可视定位方法来解决在自然生动的视频中需要定位多个声音源的问题,该方法能够有效地将声音与特定的视觉来源进行对齐。
Jul, 2020
本文提出了Interference Eraser(IEr)框架,用于处理复杂的真实场景中的音频-视觉声源定位问题。通过增强音频表示和采用跨模态引用模块的跨模态蒸馏,消除混杂声音和噪音对音频-视觉连接的干扰,在定量和定性评估中,我们的框架取得了在声音定位任务上卓越的结果。
Feb, 2022
本文提出了一种名为EZ-VSL的简单而有效的无监督音频-视觉源定位方法,旨在识别视频中的可见声源,其采用对齐音频和视觉空间的方法来实现,在Flickr SoundNet和VGG-Sound Source数据集上均取得了良好的表现,特别是在CIoU方面从76.80%提高到了83.94%。
Mar, 2022
本文提出了一种新的视听源定位方法,通过扩展音频图片嵌入的训练数据以及采用新的评估方法来解决定位不准确和过拟合的问题。
Aug, 2022
我们提出了一种同时定位视觉场景中多个声源的方法,使用 Jabri 等人的对比随机漫步所启发的模型,并结合了视听相似性度量,能够较好地解决声音混合的分离与声音和视觉信号的联合问题,实验结果表明该模型在定位多个声源方面优于其他自监督方法。
Nov, 2022
本文提出了一种通过声音生成场景图像的方法,采用了深度学习等技术,结合声音定位和跨模态信息对齐来提高图像生成质量,并在相关数据集上得到了较好结果。
Mar, 2023
提出了一种音频-视觉空间整合网络,利用音频和视觉模态的空间线索来模仿人类在检测制造声音的对象时的行为,并引入了递归注意网络来递归地专注于对象,从而形成更准确的注意区域,通过利用音频-视觉模态的空间线索和递归地关注对象,我们的方法可以实现更稳健的声源定位,全面的实验结果表明了该方法优于现有方法。
Aug, 2023
我们提出了一个跨模态对齐任务作为声源定位的联合任务,以更好地学习音频和视觉模态之间的交互,并在声源定位和跨模态检索方面超越了现有的方法,从而实现了较高的定位性能和强大的跨模态语义理解。
Sep, 2023
本文提出了一种新颖的多声源定位方法,可以在不需要声源数量先验知识的情况下实现准确的声源定位。该方法利用迭代对象识别模块识别声音制造物体,并通过对象相似性感知聚类损失指导迭代对象识别模块有效地合并相同物体的区域,同时区分不同的物体和背景。通过在MUSIC和VGGSound数据集上进行广泛实验,对比现有方法,我们的方法在单声源和多声源的定位任务上均取得显著的性能提升。
Mar, 2024