Apr, 2023

使用基于对比学习预训练的机器 ID 声音表示进行异常声音检测

PDF
TL;DR本文使用对比学习方法，针对每个机器 ID 而不是每个音频样本优化音频表示，使用自我监督 ID 分类器微调学习模型，增强了同一 ID 音频特征之间的关系，在 DCASE 2020 Challenge Task2 数据集上的实验表明，该方法在整体异常检测性能和稳定性方面胜过了使用对比学习或自我监督分类的最先进方法。
anomalous sound detectioncontrastive learningmachine idself-supervised id classifierdcase 2020 challenge task2 dataset
发现论文，激发创造
  • 对比环境声音表示学习

    利用自监督对比技术和浅层 1D CNN 提取环境音频的显著特征，进一步使用规范相关分析（CCA）来融合来自给定音频的两种输入类型的表示，并证明融合的全局特征相对于单独的表示具有更强的鲁棒性。在 ESC-50 和 UrbanSound8K 上的评估表明，该技术能够提取环境声音的大部分特征，并分别在 ESC-50 和 UrbanSound8K 数据集上获得了 12.8％和 0.9％的改进。

    Jul, 2022

  • 利用受监督对比学习进行生物声学少样本检测的预训练表示

    通过数据增强和监督对比学习框架，利用少量标注样本实现了对生物声学应用中的声音事件进行检测和分类的深度学习方法，并在 DCASE 挑战中获得了较好的性能。

    Sep, 2023

  • 音频指纹对比无监督学习

    本文介绍了将对比学习的思想应用于音频指纹（AFP）任务中的方法，并基于动量对比（MoCo）框架设计了一种对比学习方法以生成既具有区分性又具有鲁棒性的指纹，并对其在音频识别中的有效性进行了实验证明。

    Oct, 2020

  • CLAR: 对听觉特征的对比学习

    本文基于 SimCLR 的前期工作，提出了适用于音频数据的各种数据增强方案，并调查了它们对预测性能的影响，同时证明了采用时频音频特征训练，在监督和对比损失同时约束下的模型可以获得优秀的音频表示。在少量标注数据的情况下，该方法明显地改善了预测性能，同时比自监督训练更快地收敛并具有更好的表示能力。

    Oct, 2020

  • 规则化对比预训练用于少样本 生物声音检测

    通过提供开源代码，本研究旨在降低少样本生物声事件检测的门槛，通过提出一个简单而有效的框架来实现此任务，并通过规范化监督对比预训练来学习能够在新目标任务中进行良好迁移的特征，从而在无特征适应时取得 61.52%（0.48）的高 F 分数，在进一步对新目标任务进行特征适应时获得 68.19%（0.75）的 F 分数。

    Sep, 2023

  • 通用音频表示的对比学习

    COLA 是一种基于对比学习的自监督预训练方法，用于学习音频的通用表示，通过在大规模的 Audioset 数据库上进行预训练，使得其在包括语音、音乐、动物声音和声学场景等 9 项分类任务中性能显著优于之前的自监督系统，并进一步通过消融研究指出了关键的设计选择。

    Oct, 2020

  • 鲁棒音频视觉实例判别

    本文介绍了一种自监督学习方法，以学习音频和视频表征，并通过行动识别任务的实验验证了其解决音频 - 视觉实例区别问题和提高迁移学习性能的贡献。

    Mar, 2021

  • 遮蔽对比学习用于异常检测

    本文提出了一种基于自我监督学习方法的特定任务变体对比学习称为 “遮蔽对比学习”，其更适用于异常检测，并提出了一种自我集成推断方法，通过利用辅助自我监督任务学习的能力进一步提高模型性能，在各种基准数据集上的表现显著超过以往的最先进方法。

    May, 2021

  • 音频鲁棒隐私保护的对抗表示学习

    本研究提出了一种新的对抗性训练方法，用于生成语音含量音频的不变潜在表示，以有效防止从录音的潜在特征检测语音活动，缓解了隐私泄露的问题。

    Apr, 2023

  • 从原始音频学习去标识化韵律表征

    提出了一种自我对比无监督信号的方法，用于学习从原始音频中去识别的 prosody 表示，可以用于语音理解的新基准测试 DAMMP，检验了该方法所学到的非 timbral prosody 子组件，已达到部分去识别的效果。

    Jul, 2021