Mar, 2022

环境声音表示的扰动鲁棒性研究

PDF
TL;DR本文中，我们将 Holistic Evaluation of Audio Representations (HEAR) 扩展到评估在通道效应 invariant 的 embedding 性能，通过注入扰动来模拟通道效应和三种距离测量，评估两种嵌入模型 (YAMNet 和 OpenL3) 在两个城市数据集上的性能，结果表明 OpenL3 嵌入模型比 YAMNet 更稳健。
发现论文，激发创造
  • HEAR: 面向音频表示的整体评估

    HEAR 基准评估了多种音频嵌入模型，并提供了一个可重复评估的综合开放数据集，以求达到一个通用的音频表示模型，应用于各种语音、环境声和音乐相关的任务中。

    Mar, 2022

  • 学习通用音频表示

    提出一种基于 Slowfast 架构的正常化器自由的 NFNet 音频表示方法，并通过 HARES 跨领域 12 项测试取得优异表现，表明 SimCLR 目标能够促进更强健的音频表示学习。

    Nov, 2021

  • 音乐音频表示的对比学习中数据增强对局部嵌入特性的影响

    音频嵌入是理解大量音乐目录的关键工具，通过对比学习音乐音频嵌入，可以改善属性的局部化，提高最近邻检索准确性并实现最先进的性能。

    Jan, 2024

  • 利用大规模跨语言模型在不同维度之间确定音频录音之间的相似程度

    在低资源语言研究的高度受限背景中，我们探讨了预训练模型的语音向量表示，以确定其相对于音频信号的抽象程度。我们提出了一种新的无监督方法，利用精心策划的元数据在音频录音上进行 ABX 测试，以揭示这些表示所包含的信息类型。通过三个实验，验证了从具有不同语言 / 非语言特征的录音中提取的表示在相同方面上的差异。将更多音频信号嵌入一个向量中可以更好地区分非语言特征，而较短的片段则更好地区分分段信息。该方法完全无监督，有可能为对少有文献的语言进行比较研究开辟新的研究方向。

    Feb, 2024

  • 多样化神经音频嵌入：引领特征回来！

    通过领域特定的多样化特征表示，本文学习音频嵌入，比如音高、音色和神经表示等多种属性，并通过端到端架构学习，观察到虽然单独的手工制作嵌入无法超越完全的端到端表示，但将它们与端到端嵌入合并，显著提高性能。这项工作为将领域专业知识与端到端模型结合，学习出鲁棒且多样化的表示方式铺平了道路，超越了仅仅训练端到端模型的性能。

    Sep, 2023

  • 建模语音变化的神经表征

    研究使用自我监督的神经模型从语音中提取声学嵌入，计算非英语母语和英语母语以及挪威方言发音之间的基于单词的差异，并发现使用转换器的神经模型提取的语音表示与人类感知匹配得更好。

    Nov, 2020

  • 语音情感分析中的预训练模型表示及其对噪声的鲁棒性

    研究了预训练模型表示在情感语音识别中的应用，探讨了情感维度的表示方式，发现情感的激活度和支配力主要依赖于声学信息，而情感的价值主要依赖于词汇信息。使用多模态融合表示生成了最先进的情感识别，改进了情感估计中的准确度，发现词汇表示比声学表示更具有鲁棒性，并证明多模态模型知识蒸馏有助于提高基于声音的模型的噪声抗干扰能力。

    Mar, 2023

  • 深度音频嵌入在音乐情感识别中的比较与分析

    本文研究深度音频嵌入技术对于音乐情感识别领域的应用，探讨了 L3-Net 和 VGGish 等深度音频嵌入方法在情感识别上的表现，结果表明这些方法可有效提高基线情感识别模型的性能，且不需要人工专家工程。

    Apr, 2021

  • HeAR - 健康声学表示

    发展了一个基于自监督学习的深度学习系统，通过线性探测在 33 个健康声学任务上建立了一个先进的健康音频嵌入模型。

    Mar, 2024

  • 神经网络方法实现口语内容嵌入

    通过使用循环神经网络 (RNNs) 改进了模型训练的效率和性能，我们提出了基于 RNNs 的新的区分性的声学词嵌入 (AWE) 和声学基础词嵌入 (AGWE) 的方法；我们将这些发展扩展到几种低资源语言，并且在有限标记数据的情况下展示了多语言训练的性能提升；我们将这些嵌入模型应用于基于示例的语音搜索和自动语音识别等下游任务；最后，我们展示了我们的嵌入方法与最近的自监督语音模型的比较和补充。

    Aug, 2023