COLINGApr, 2024

走向狗吠解码：利用人类语音处理进行自动狗吠分类

PDF
TL;DR本文研究狗的声音，并探索利用在人类语音上预训练的自监督语音表示模型来解决狗吠分类任务，该任务与人类语音识别中的任务有相似之处。我们具体研究了狗的识别、品种鉴定、性别分类和语境关联四个任务，并表明使用语音嵌入表示可以显著改善简单分类基线。此外，我们还发现在几个任务中，预训练于大规模人类语音声学的模型可以提供额外的性能提升。
dog vocalizationsself-supervised speech representation modelsdog bark classificationspeech recognitionspeech embedding representations
发现论文，激发创造
  • 利用 HuBERT 发现一种犬类语言的语音和词汇

    研究了犬叫声中的潜在交流模式，采用了自监督方法 HuBERT，能够准确分类音素标签，并识别表明犬叫声中存在基本词汇的声音模式。发现这些识别出的犬词汇在观察到的犬叫声序列中具有显著的声学一致性，并开发了一个基于网络的犬叫声标注系统。

    Feb, 2024

  • 自监督神经网络在人类语音上预训练​能否辨别动物叫声？

    本文探讨了在人类语音领域预训练的自监督学习模型是否可以用于生物声学领域，结果表明可以通过这种方式成功地从黄腹掌猴的声音中识别出不同的个体身份信息。

    May, 2023

  • 通过在线视频实现对犬叫声的词汇分析

    通过将不同声音类型与一致语义相关联，本研究通过数据驱动的方法，解释了动物语言的语义特征。使用 YouTube 上以 Shiba Inu 为基础的数据集及上下文信息，对犬叫声与地点、活动之间的条件概率进行分析，验证了先前关于狗叫声语义含义的启发式研究，同时也提出了狗叫声中更细粒度的子类型，Shiba Inu 的最小语义单元与词有关。

    Sep, 2023

  • 如犬相语：人类到非人类生物的声音转换

    本文提出了从人类语音到狗狗语音的语音转换任务，并尝试使用 Mel-spectrogram 来保持狗狗语音的相似度。

    Jun, 2022

  • BYOL-S: 通过启动自助学习的方式学习自监督语音表示

    本研究使用自我监督学习与深度神经网络等方法，探索提取声音和语音特征的最优表征，提出了多种编码器架构，并探讨了不同的预训练数据集。最后，我们提出了一个新的训练框架，用于结合手工特征和数据驱动特征，得到一个混合音频表征。在 HEAR 毕业设计的听觉场景分类和时间戳检测任务中，我们的实验表明，使用混合模型和卷积变压器作为编码器在大多数任务中都具有更优越的性能。

    Jun, 2022

  • 具备人类语言监督的可转移生物声学模型

    利用无损声学监测方法追踪全球生物多样性和人类活动对物种的影响，在此工作中，我们提出了一种基于对比语音 - 音频预训练的生物声学模型 BioLingual，该模型能够跨类别识别超过一千种动物的叫声并通过自然语言查询检索动物语音记录。

    Aug, 2023

  • 深度音频嵌入解析鸟鸣

    研究使用半监督学习方法通过深度学习和声学监测来掌握鸟类叫声和环境噪声的特征，以提高环境声学数据的分类精度和深入了解环境声学数据的潜在结构。

    Aug, 2021

  • 我的狗和我之间的声学相关性

    研究狗叫声与主人语言环境之间的相关性，利用 Shiba Inu 犬的数据集，通过分类任务和显著因素分析，发现两种语言环境下狗叫声的显著声学差异，并识别了一些潜在与它们主人语言模式相关的声学特征。

    Sep, 2023

  • 大脑的苦苦教训：自我监督学习下的语音解码的扩展

    开发一组神经科学启发的自监督目标和神经架构，用于从异构和无标记神经记录中进行表征学习，实验证明这些目标学习到的表征能够普遍适用于不同的被试者、数据集和任务，并比仅使用有标记数据时更快地学习；此外，为两个基础性语音解码任务设置了新的基准，这些方法现在可以利用数量级更多的现有数据来训练语音解码模型。

    Jun, 2024

  • 自监督音频模型有效解释人类大脑对语音的反应

    本文回顾了目前人类低级听觉处理的现有模型，并利用自学语言模型技术创建了新的人类听觉系统的先进模型。结果表明，与声学基线、音素特征和监督模型相比，来自自监督模型中间层的表示可以显著提高对听觉皮层的 fMRI 记录的预测性能，并且不同的听觉处理区域对信息的不同语言层次表现出偏好。

    May, 2022