音频分类中最佳时间支持的选择与预训练嵌入

Dec, 2023

音频分类中最佳时间支持的选择与预训练嵌入

On the choice of the optimal temporal support for audio classification with Pre-trained embeddings

Aurian Quelennec, Michel Olvera, Geoffroy Peeters, Slim Essid

TL;DR通过研究音频输入时长对现有预训练嵌入模型的影响，本研究发现音频光谱图变换系统在较短的时间支持下仍然有效，从而大大减少了内存和计算成本，同时通过选择最佳时间支持，实现了在所有任务上具有竞争力的结果。

Abstract

Current state-of-the-art audio analysis systems rely on pre-trained embedding models, often used off-the-shelf as (frozen) feature extractors. Choosing the best one for a set of tasks is the subject of many recent publications. However, one aspect often overlooked in these works is the

audio analysis systems pre-trained embeddings temporal support audio spectrogram transformer memory and computational cost

发现论文，激发创造

预训练语音和音频嵌入的情感识别比较研究

这项工作对来自八个语音预训练模型（wav2vec 2.0，data2vec，wavLM，UniSpeech-SAT，wav2clip，YAMNet，x-vector，ECAPA）的嵌入进行了比较分析。对四个语音情感数据集进行了广泛的实证分析，结果表明，最佳表现是由从训练说话者识别的 PTMs 获得的嵌入训练的算法实现的，这表明从演讲者识别 PTMs 提取嵌入的最佳性能很可能是由于模型在演讲者识别训练期间获取了有关许多语音特征（例如语调，口音，音高等）的信息。

Apr, 2023

利用 PaSST 和大量音频标题数据集推进基于自然语言的音频检索

该研究针对预先训练的文本和频谱图变换器，提出了一种基于文本的音频检索系统。系统的两个关键组件是基于自注意力机制的音频编码器和在预训练期间利用附加的人工生成和合成数据集。该系统在 2023 年的 DCASE 挑战中排名第一，在 ClothoV2 基准测试中的表现优于当前的最新技术，提高了 5.6 个百分点的 mAP@10。

Aug, 2023

移动设备自监督音频表示学习

我们探索了可以在移动设备上部署的自监督模型来学习通用音频表示，具体而言，我们提出了利用频谱图域中的时间上下文的方法。一种方法估计从同一音频剪辑中随机提取的两个短音频片段之间的时间间隔。其他两种方法受 Word2Vec 的启发，旨在从过去和未来切片中重建时间频谱图切片，或者从当前切片重建周围切片的上下文。我们关注使用小型编码器体系结构的评估，这些体系结构可以在推理（在多个下游任务中重复使用共同学习的表示）和训练（与联合学习结合使用时捕获真实数据分布而不损害用户隐私）期间潜在运行于移动设备。我们评估了自我监督学习模型产生的嵌入质量，并表明它们可以被重新用于各种下游任务，甚至对一些任务的性能接近相似大小的全监督模型。

May, 2019

文本和语音嵌入匹配：探索基于迁移学习的语音检索策略

本文研究了预训练的深度学习模型在跨模态（文字到音频）检索中的应用，使用浅层神经网络将提取的嵌入映射到公共维度，并探究优化模型的先前培训方法和损失函数选择的重要性。

Oct, 2022

关于合成训练数据中音素持续时间变异性对自动语音识别的相关性

通过生成的合成数据以及时长建模来改进低资源环境或领域不匹配任务中的自动语音识别系统，并使用半监督方法在改进中合成数据的语音识别系统中取得了改进。

Oct, 2023

零数据的文本语音可控重音

本文提出了一种可扩展的方法来产生高质量的文本转语音 (TTS) 的强调效果，并在不需要录音或注释的情况下实现，通过预测强调词的持续时间的简单但有效的方法，比光谱图修改技术更好地改善自然度 7.3％，并通过 40％正确测试强调的单词在一个女性 en-US 参考语音的句子中的识别。

Jul, 2023

利用时间依赖性表征音频对抗样本

本文旨在探索利用时间依赖性对抗音频示例的潜力，结果表明利用时间依赖性可以抵御音频对抗示例并提高语音识别系统的鲁棒性。

Sep, 2018

时间建模至关重要：一种新的面向语音情感识别的时间情感建模方法

本文介绍了一种基于时间的情感建模方法，称为 TIM-Net，它学习来自各种时间尺度的多尺度情境情感表示，并用于提高语音情感识别的性能，实验结果表明 TIM-Net 在六个基准数据集上表现出优异的性能。

Nov, 2022

环境声音表示的扰动鲁棒性研究

本文中，我们将 Holistic Evaluation of Audio Representations (HEAR) 扩展到评估在通道效应 invariant 的 embedding 性能，通过注入扰动来模拟通道效应和三种距离测量，评估两种嵌入模型 (YAMNet 和 OpenL3) 在两个城市数据集上的性能，结果表明 OpenL3 嵌入模型比 YAMNet 更稳健。

Mar, 2022

时间戳嵌入匹配声学到词汇 CTC 自动语音识别

本文提出了一种新颖的嵌入匹配语音识别器，它直接产生了单词的起始时间和持续时间，并可以在测试时输出单词分割和单词混淆网络，同时相对于非时间戳系统，Word timestamps 可以使得系统获得类似于混合 DNN-HMM 系统的单词分割准确度和不到 3ms 的较小差异，我们提供了多重假设嵌入匹配 ASR 的更严格的分析。

Jun, 2023