生物声音的自动深度学习

Nov, 2023

Auto deep learning for bioacoustic signals

Giulio Tosato, Abdelrahman Shehata, Joshua Janssen, Kees Kamp, Pramatya Jati...

TL;DR该研究探讨了自动化深度学习在多类鸟类声音分类中提高准确性和效率的潜力，与传统手动设计的深度学习模型进行对比。采用西地中海湿地鸟类数据集，研究了使用 AutoKeras（一种自动化机器学习框架）来自动化神经架构搜索和超参数调优。比较分析验证了我们的假设，即 AutoKeras 导出的模型在性能上一直优于传统模型（如 MobileNet、ResNet50 和 VGG16）。该研究突显出自动化深度学习在推动生物声学研究和模型方面的变革潜力，事实上，自动化技术消除了对手动特征工程和模型设计的需求，同时提高了性能。该研究通过样本、评估和报告的最佳实践，提升了这一新兴领域的可复制性。所有使用的代码可在 https://github.com/giuliotosato/AutoKeras-bioacustic 获取。

Abstract

This study investigates the potential of automated deep learning to enhance the accuracy and efficiency of multi-class classification of bird vocalizations, compared against traditional manually-designed deep learning models. Using the Western Mediterranean Wetland Birds dataset, we in

autokeras automated deep learning audio classification wetlands bird dataset bioacoustics

发现论文，激发创造

评估小型脚印深度学习方法在新标注数据集上的西地中海湿地鸟类分类

本文提出了一种基于生态学价值自动化分析和检测鸟类物种的专家系统的部署，该系统通过无线声学传感器网络和具有深度学习技术的深度神经网络来实现鸟类的准确分类，并对 VGG16、ResNet50 和 MobileNetV2 这三种深度神经网络的效果进行比较分析，发现 MobileNetV2 的 F1 得分优于 VGG16 而略低于 ResNet50，且模型大小小得多。

Jul, 2022

通过深度学习自动识别鸟类声音：首届鸟类声音检测挑战赛

使用现代机器学习技术进行鸟类检测，无需人工重新校准，也不需要针对目标物种或目标环境中的声学条件进行预训练，可在远程监测数据中实现非常高的检索率，达到约 88％的 AUC 性能，并讨论了将这种检测方法整合到远程监测项目中的方法。新的声学监测数据集被提出并进行了详细的性能评估。

Jul, 2018

深度音频嵌入解析鸟鸣

研究使用半监督学习方法通过深度学习和声学监测来掌握鸟类叫声和环境噪声的特征，以提高环境声学数据的分类精度和深入了解环境声学数据的潜在结构。

Aug, 2021

利用众包训练数据在未知的声音背景中检测鸟鸣声

通过建立鸟鸣音的生成模型和采用新颖性检测技术，可以在全球范围内使用廉价的无人值守记录站或使用移动设备上的录音和物种识别进行大规模众包，可靠地识别动物物种的能力受到限制。

May, 2015

具备人类语言监督的可转移生物声学模型

利用无损声学监测方法追踪全球生物多样性和人类活动对物种的影响，在此工作中，我们提出了一种基于对比语音 - 音频预训练的生物声学模型 BioLingual，该模型能够跨类别识别超过一千种动物的叫声并通过自然语言查询检索动物语音记录。

Aug, 2023

基于人类评分系统和人工神经网络的大型生物声学信号分类

本文提出一种方法，通过结合来自时频谱图的信号特征和人类感知，以提高声音分类性能，该方法利用人工神经网络 (ANN) 学习基于人类感知知识的信号特征，并应用于包含 24 个月几乎连续记录的大型声学数据集，结果表明性能显著提高。

May, 2013

自主学习用于少样本鸟声分类

自监督学习在音频领域具有重要潜力，本研究证明自监督学习可以在无需注释的情况下从音频记录中获取有意义的鸟类声音表示，并展示了这些学习表示能够在少样本学习情景中泛化到新的鸟类物种。另外，使用预训练的音频神经网络，在自监督学习中选择高鸟类激活窗口显著提高了学习表示的质量。

Dec, 2023

主动鸟声嵌入：基于 Transformer 的端到端鸟声监测

我们提出将自我监督（SSL）和深度主动学习（DAL）结合起来，转向端到端学习进行鸟类声音监测。利用 Transformer 模型，我们旨在绕过传统的频谱图转换，实现直接的原始音频处理。通过 SSL，ActiveBird2Vec 将生成高质量的鸟类声音表示，可能加快对风电场环境变化和决策过程的评估。此外，我们还计划通过 DAL 利用多种鸟类鸣叫声，减少对人工专家 extensively labeled 数据集的依赖。我们计划通过 Huggingface Datasets 整理一套全面的任务，增强生物声学研究的未来可比性和可重复性。将进行各种 Transformer 模型之间的比较分析，评估它们在鸟声识别任务上的熟练程度。我们旨在加速鸟类声学研究的进展并为更有效的保护策略作出贡献。

Aug, 2023

AudioProtoPNet：鸟类声音分类的可解释深度学习模型

這篇研究論文提出了一種基於 ConvNeXt 骨幹架構和 Prototypical Part Network（ProtoPNet）的音頻分類方法，通過原型模式學習每種鳥類的特徵模式，利用譜圖進行新數據的分類，從而同時提供可解釋性的模型決策解釋。

Apr, 2024

资源受限环境中的深度主动音频特征学习

讨论一种在生物声学应用中使用主动学习框架并结合特征提取的方法，能够有效减少数据标记的工作量，提高分类模型的效果。

Aug, 2023