Mar, 2024

跨模态伪标签半监督音频 - 视觉源定位

PDF
TL;DR我们的研究聚焦于半监督 AVSL 中的伪标签方法，提出了一种名为 Cross Pseudo-Labeling（XPL）的新方法，通过交互学习和交叉精炼机制，避免偏见积累，并结合软伪标签和课程数据选择模块以实现稳定训练，实验证明 XPL 相较于现有方法在性能上显著优越，并在保持稳定性的同时有效减轻了确认偏见。
发现论文，激发创造
  • AV-CPL: 面向音视频语音识别的连续伪标记

    通过连续的伪标签生成解决了音频 - 视觉语音识别的半监督训练问题，同时提高了视觉语音识别性能并保持了实用性。

    Sep, 2023

  • 双重导师：一种无偏的音频 - 视觉源定位半监督框架

    提出一种新的半监督学习框架，称为 Dual Mean-Teacher（DMT），通过两个教师 - 学生结构绕过确认偏差问题，充分利用有标签和无标签数据，通过教师之间的一致性过滤噪声样本并生成高质量的伪标签，从而在 Audio-Visual Source Localization（AVSL）中取得了明显优于当前先进方法的性能。

    Mar, 2024

  • 通过分段伪标签提升弱监督音视频解析

    通过利用先前从开放世界学到的知识，我们提出了一种新的伪标签生成策略，可以将标签明确分配给每个视频片段，进一步使用新的损失函数来利用这些伪标签，并采用标签去噪策略来提升视觉伪标签。我们在 LLP 数据集上进行了广泛实验，证明了每个提议设计的有效性，并在所有类型的事件解析上取得了最先进的视频解析性能，且在相关的弱监督音频 - 视觉事件定位任务上验证了我们方法的优势和泛化性。

    Jun, 2024

  • 弱监督音视频来源定位的深入探究

    本文提出了一种新的视听源定位方法，通过扩展音频图片嵌入的训练数据以及采用新的评估方法来解决定位不准确和过拟合的问题。

    Aug, 2022

  • 弱监督音视频事件定位的时间标签细化

    本文提出使用基于弱监督学习思想的三个阶段的视频分段方法对同时具有可见和可听觉事件的音频 - 视觉事件进行定位和分类，方法通过用无重叠的帧替换训练数据片段中的帧并使用合成视频进行训练，辅助任务可以更可靠地预测本地化事件标签。

    Jul, 2023

  • T-VSL: 混合环境下的文本引导视听源定位

    我们提出了一种利用 Tri-modal joint embedding 模型通过文本模态作为中间特征引导，在多源混合中分离语义音视源对应关系的 T-VSL 框架，该方法在训练期间通过预测混合中声音实体的类来引导细粒度的音视源对应关系的分离，展现了在测试期间对未见过的类别具有有希望的零 - shot 迁移能力。在 MUSIC、VGGSound 和 VGGSound-Instruments 数据集上的大量实验证明了该方法相对于最先进方法的显著性能提升。

    Apr, 2024

  • 弱监督的音频 - 视觉分割

    本文介绍了一种名为 WS-AVS 的弱监督音视频分割框架，通过多尺度多实例对比学习实现了多尺度音视频对齐和音视频分割，在单一源和多源情景下有效地进行了弱监督音视频分割。

    Nov, 2023

  • SemiPL: 面向事件声源定位的半监督方法

    采用已有模型对更复杂的数据集进行应用，探索模型参数的影响，并提出了一种半监督改进方法 SemiPL。实验结果表明，参数调整对现有模型产生积极影响，特别是在混乱环境下，SSPL 相较于提供的结果，标准化 IoU 改进了 12.2％，AUC 改进了 0.56％。

    Apr, 2024

  • 简单实现的视觉声音定位

    本文提出了一种名为 EZ-VSL 的简单而有效的无监督音频 - 视觉源定位方法，旨在识别视频中的可见声源，其采用对齐音频和视觉空间的方法来实现，在 Flickr SoundNet 和 VGG-Sound Source 数据集上均取得了良好的表现，特别是在 CIoU 方面从 76.80% 提高到了 83.94%。

    Mar, 2022

  • 音视频语义分割进一步探究

    本文提出一个新的策略：Visual Post-production (VPO)，旨在构建经济实惠、相对公正的音频 - 视觉语义分割基准数据集，为此引入了像素级音频 - 视觉对比学习方法并验证了该策略的有效性，最终结果表明 VPO 策略构建的数据集能够比 SOTA 模型获得更准确的音频 - 视觉语义分割。

    Apr, 2023