Sep, 2023

使用 Transformer 网络进行自动蝙蝠呼叫分类

PDF
TL;DR通过合成多物种录音并将多种蝙蝠呼叫合并到一个录音中，我们提出了一种变压器架构用于多标签分类，该方法在实时分类场景中具有潜在应用，单一物种准确率达到 88.92%（F1 分数 84.23%），多物种宏 F1 分数达到 74.40%。相比于三个其他工具在独立和公开可用的数据集 ChiroVox 上，我们的模型单一物种分类准确率至少提高 25.82%，多物种分类宏 F1 分数至少提高 6.9%。
发现论文，激发创造
  • 生物声音的自动深度学习

    该研究探讨了自动化深度学习在多类鸟类声音分类中提高准确性和效率的潜力，与传统手动设计的深度学习模型进行对比。采用西地中海湿地鸟类数据集，研究了使用 AutoKeras（一种自动化机器学习框架）来自动化神经架构搜索和超参数调优。比较分析验证了我们的假设，即 AutoKeras 导出的模型在性能上一直优于传统模型（如 MobileNet、ResNet50 和 VGG16）。该研究突显出自动化深度学习在推动生物声学研究和模型方面的变革潜力，事实上，自动化技术消除了对手动特征工程和模型设计的需求，同时提高了性能。该研究通过样本、评估和报告的最佳实践，提升了这一新兴领域的可复制性。所有使用的代码可在 https://github.com/giuliotosato/AutoKeras-bioacustic 获取。

    Nov, 2023

  • Asca：少量音频数据揭示更多洞见

    基于 CoAtNet 的 ASCA 结合了 Transformer-convolution 混合架构、新颖的网络设计和注意力技术，结合数据增强和正则化策略，在 BirdCLEF2023 和 AudioSet (Balanced) 测试中分别获得了 81.2% 和 35.1% 的准确率，明显优于竞争方法。

    Sep, 2023

  • 探索基于元信息的音频零样本鸟类分类

    这项研究利用元信息来改善零样本音频分类，以鸟类物种作为例子进行了研究，并通过文本描述、功能特征和鸟类生活历史三种元信息的来源，提取了音频特征并采用零样本学习算法得出了最佳结果。

    Sep, 2023

  • animal2vec 和 MeerKAT：用于稀有事件原始音频输入的自监督变换器和用于生物声学的大规模参考数据集

    通过深度学习方法，使用 animal2vec 框架并提供了 MeerKAT 数据集，可以对稀疏的生物声学数据进行分类和建模，从而为生物声学研究提供了新的参考和基准。

    Jun, 2024

  • 用于鸟鸣声的多标签分类器链

    该研究提出了一种用于多标签分类鸟鸣的分类器链集合方法，并结合分段直方图表示进行实验比较，发现该方法通常优于二元关联法，在某些情况下优于多实例多标签学习算法。

    Apr, 2013

  • 利用 Transformer 在 Twitter 中多模态检测社交垃圾机器人

    早期检测社交垃圾机器人对于防范传播虚假信息和操控公众意见至关重要。本研究首次使用用户描述字段和图像，采用预训练的视觉模型以及 TwHIN-BERT 来获取文本和图像的表征，并提出了三种不同的融合方法进行多模态融合，并在 Cresci '17 数据集上进行了广泛实验，证明了我们方法在准确率上具有显著优势，达到了 99.98%。

    Aug, 2023

  • BatVision: 学习使用两只耳朵看到三维空间布局

    该研究提出了一种低成本的机器视觉系统（BatVision），通过仿照蝙蝠的回声定位机制，利用声音来感知物体的三维空间布局，能够在低照度或无光照条件下用于机器人导航和机器视觉。

    Dec, 2019

  • 深度音频嵌入解析鸟鸣

    研究使用半监督学习方法通过深度学习和声学监测来掌握鸟类叫声和环境噪声的特征，以提高环境声学数据的分类精度和深入了解环境声学数据的潜在结构。

    Aug, 2021

  • 利用摄像机陷阱图像和深度学习消除在鸟类分类中的人为瓶颈

    本文介绍了一种通过利用深度学习技术实现鸟类在野外自动监测的方法，基于摄像机捕捉数据，使用 Faster-RCNN 架构实时分类图像，并通过 GPU 进一步处理数据，从而有效地减少了手动观测的需要，并取得了较为显著的监测鸟类的准确率

    May, 2023

  • BarcodeBERT：用于生物多样性分析的变压器模型

    利用 DNA 条形码参考库，提出了一种名为 BarcodeBERT 的自监督方法，对物种和属级别进行高准确性的 DNA 条形码识别，该方法兼顾数据集细节和覆盖范围对模型选择的影响，并强调了自监督预训练在高准确性 DNA 条形码分析中的作用。

    Nov, 2023