Apr, 2024

SemiPL: 面向事件声源定位的半监督方法

PDF
TL;DR采用已有模型对更复杂的数据集进行应用，探索模型参数的影响，并提出了一种半监督改进方法 SemiPL。实验结果表明，参数调整对现有模型产生积极影响，特别是在混乱环境下，SSPL 相较于提供的结果，标准化 IoU 改进了 12.2％，AUC 改进了 0.56％。
event sound source localizationcontrastive learninghuman behaviorschaotic eventssemi-supervised learning
发现论文，激发创造
  • 自监督预测学习：一种无需负样本的视觉场景声源定位方法

    本文提出了自监督预测学习 (SSPL) 方法，通过显式正样本挖掘以实现声音定位，将声音来源与视频帧的两个增强视图相结合，并引入了预测编码模块以帮助 SSPL 逐步聚焦目标对象和有效降低正向对难度。实验结果表明，SSPL 在两个标准的声音定位基准测试中优于现有最佳方法，在 SoundNet-Flickr 上将 cIoU 和 AUC 分别提高了 8.6％和 3.4％。

    Mar, 2022

  • 学习在视觉场景中定位声源：分析与应用

    本项研究提出一种基于双流网络的无监督算法，用于在视觉场景中定位声源，并针对该算法所存在的误差问题通过半监督学习进行修正，从而增强了算法的可靠性和泛化性。

    Nov, 2019

  • 跨模态伪标签半监督音频 - 视觉源定位

    我们的研究聚焦于半监督 AVSL 中的伪标签方法，提出了一种名为 Cross Pseudo-Labeling（XPL）的新方法，通过交互学习和交叉精炼机制，避免偏见积累，并结合软伪标签和课程数据选择模块以实现稳定训练，实验证明 XPL 相较于现有方法在性能上显著优越，并在保持稳定性的同时有效减轻了确认偏见。

    Mar, 2024

  • 学习在视觉场景中定位声源

    本文提出一种新颖的无监督学习算法，可以通过观察声音和视觉场景对来仅仅聚焦声音源，在仅仅几个监督的情况下可以有效地纠正错误的结论并定位声音源.

    Mar, 2018

  • 动量伪标记在半监督语音识别中的应用

    本研究提出一种名为动量伪标签的半监督语音识别方法，采用了一种在线模型与离线模型之间交互学习的策略，取得了比基准模型更好的效果。

    Jun, 2021

  • 声源定位是关于跨模态对齐的全部内容

    我们提出了一个跨模态对齐任务作为声源定位的联合任务，以更好地学习音频和视觉模态之间的交互，并在声源定位和跨模态检索方面超越了现有的方法，从而实现了较高的定位性能和强大的跨模态语义理解。

    Sep, 2023

  • 一种用于电力系统事件识别的半监督方法

    利用半监督学习方法，本研究提出了一种结合未标记的事件数据样本的新型半监督框架，通过基于模态分析提取物理可解释特征，改进了现有事件识别方法。在南卡罗来纳合成网络上的数据生成、特征提取和事件识别结果表明，使用基于图的标签传播方法在事件识别性能上优于其他两种半监督学习方法，并可以明显改善相对于仅使用少量标记样本的情况。

    Sep, 2023

  • 迭代对比学习的无监督声音定位

    本文提出了一种无需数据注释的迭代对比学习框架，用于声音定位任务，在图像中预测的定位结果和从音频信号中推断的语义关系被用作伪标签，并通过迭代策略逐渐促进声源的定位。实验结果表明，该框架在声音定位任务上表现良好，优于现有的无监督和弱监督方法。

    Apr, 2021

  • 弱监督音视频来源定位的深入探究

    本文提出了一种新的视听源定位方法，通过扩展音频图片嵌入的训练数据以及采用新的评估方法来解决定位不准确和过拟合的问题。

    Aug, 2022

  • 通过概率空间建模的自监督神经音频视觉声源定位

    该论文介绍了一种利用 360 度图像和多通道音频信号的自监督训练方法来训练深度神经网络以区分多个声源对象的系统，旨在解决自主机器人理解周围环境的问题。

    Jul, 2020