audio representations | BriefGPT

关键词audio representations

搜索结果 - 10

从合成音频 Doppelgangers 进行对比学习
通过使用合成音频生成具有因果关系的音色、音高和时间包络变化的混合音频，我们提出了一种轻量级的方法来学习健壮的音频表示，该方法可以减轻从真实世界音频中获取大规模数据的负担，并在标准音频分类基准上取得强大的表现。
PDF23 days ago
音频蟒蛇：用于自监督音频表示的选择性状态空间
提出了一种名为 Audio Mamba 的选择性状态空间模型，通过自我监督学习从随机遮罩的频谱图补丁中学习通用的音频表示。实证结果表明，预训练于 AudioSet 数据集的该模型在十个不同的音频识别任务中持续优于可比较的自我监督音频谱图 T
PDFa month ago
深度学习音频生成方法概述
本文综述了音频生成中深度学习模型开发所使用的典型技术，包括音频表示、深度学习架构变体及其实际应用，以及常用的评估指标。该文章旨在为音频生成领域的初学者和新手提供对当前最先进的音频生成方法及相关研究的全面理解，以供未来研究探索。
PDFa month ago
多模态数据和资源高效的设备导向语音检测与大型基础模型
通过消除触发短语的需要，本研究探索了使用流式音频录制的设备麦克风记录的信号来确定用户是否在与虚拟助手进行交流，通过将语音识别系统的最佳假设和解码器信号与音频编码器的声学表示结合为大型语言模型的输入特征来实现这一目标。使用低秩适应和前缀调整的
PDF7 months ago
多窗口关注遮蔽自编码器更好的音频学习者
本篇研究提出了一种使用多窗口的遮盖自编码器和多头注意力机制进行多领域音频数据建模的方法，并对比了标准遮盖自编码器的性能效果和特征获取能力。实验结果表明，多窗口的遮盖自编码器在处理多领域音频数据时具有更好的性能和特征提取能力，并且获得了更加独
PDFa year ago
朝向解缠语音表示
本研究构建了一种联合建模的声学表征学习任务，强调去耦合（disentanglement）声音信号的相关和无关部分，然后证明这些理想的、去耦合的方案具有独特的统计性质，并在训练期间强制执行这些性质，使平均 WER 相对提高了 24.5％，这提
PDF2 years ago
使用遮蔽自编码器建模的遮蔽光谱图用于学习通用音频表示
本文提出了一种新的通过自编码集成原始音频数据的方法：Masked Spectrogram Modeling（MSM），并使用 Masked Autoencoders（MAE）进行自监督学习，这种方法在 HEAR 2021 NeurIPS C
PDF2 years ago
环境声音表示的扰动鲁棒性研究
本文中，我们将 Holistic Evaluation of Audio Representations (HEAR) 扩展到评估在通道效应 invariant 的 embedding 性能，通过注入扰动来模拟通道效应和三种距离测量，评估两
PDF2 years ago
GPU 可用的模块化合成器中的十亿音频声音
该研究介绍了一个包含 10 亿个可合成声音及音频参数的多模态音频语料库，提出了一个新的基于排名的音频表示评估标准，并且采用新的综合方法，提高了合成器参数优化的精度。
PDF3 years ago
移动设备自监督音频表示学习
我们探索了可以在移动设备上部署的自监督模型来学习通用音频表示，具体而言，我们提出了利用频谱图域中的时间上下文的方法。一种方法估计从同一音频剪辑中随机提取的两个短音频片段之间的时间间隔。其他两种方法受 Word2Vec 的启发，旨在从过去和未
PDF5 years ago