Jul, 2023

用于声学吉他的实时打击技巧识别和嵌入式学习

PDF
TL;DR本文介绍了实时音乐信息检索（RT-MIR）技术，利用卷积神经网络和变分自编码器技术进行了吉他身体打击乐器件的识别和嵌入学习，并详细评估了两个模型的性能。
real-time music information retrievalpercussive fingerstyleconvolutional neural networksvariational autoencodersembedding learning
发现论文，激发创造
  • 使用卷积神经网络自动识别多音乐器中的乐器

    本文介绍了利用卷积神经网络进行自动乐器识别的应用。在这个模型中，特征提取和学习算法是通过端到端方式一起训练的。通过基于原始音频训练的卷积神经网络所取得的结果表明，其性能优于那些依赖手工制作特征的传统方法。

    Nov, 2015

  • 基于螺旋曲线的深度卷积神经网络在乐器识别中的应用

    本研究调查了构建学习卷积网络用于乐器识别的问题，并对三种不同的权重共享策略进行了性能测试，结果表明混合三种卷积层在单个深度学习体系结构中的效果最佳。

    May, 2016

  • MERT：音乐声学理解模型及大规模自监督训练

    利用自监督学习方法，结合教师模型的音乐理解模型能够在大规模数据上，通过留声机和 Constant-Q Transform 等多种教师模型的指导，将 BERT-style transformer encoder 更好地应用于音乐领域，提升了音乐检索等 14 项任务的表现。

    May, 2023

  • 基于神经自回归模型的高效实时钢琴转录

    通过改进神经网络设计和模型大小，实现实时推断的钢琴转录模型，与现有最先进模型在音符精确度上相媲美并具有高性能及轻量级特点。

    Apr, 2024

  • RevRIR: 利用对比学习进行联合混响语音和室内冲激响应嵌入，应用于房间形状分类

    该论文研究了室内指纹识别，通过分析音频记录以确定录制音频时所在房间的音量和形状。提出了一种双编码器架构，可直接从语音中估算房间参数，通过对比损失函数将语音和声学响应联合嵌入，通过在预训练和微调阶段的训练实现具体的分类任务，并在测试阶段使用嵌入来进行房间形状分类。该方案在模拟声学环境中进行了广泛评估。

    Jun, 2024

  • 自监督对比学习用于稳健的音乐 - 乐谱检索系统

    我们通过自监督对比学习的方法，研究了如何减轻多模态音乐检索模型中标注数据稀缺的限制，并提出了经过预训练的模型能够更好地检索音乐片段，并在交叉模态的作品识别任务中获得更好的检索质量的观察结果。

    Sep, 2023

  • 基于音色和音高的帧级乐器识别

    本文利用 MusicNet 数据集，建立并评估了一个卷积神经网络，实现基于帧级别标注的乐器识别，并尝试不同方法将音高信息融入模型，实现对于多乐器帧级别噪声的校准、乐器之间谐波比较分析等，实验结果表明相对于基线方法具有显著的性能提升。

    Jun, 2018

  • 判别式声学词嵌入：循环神经网络方法

    本研究基于递归神经网络 (RNN) 提出了新的区分性嵌入模型，探讨了不同的训练损失，通过单词区分任务的评估发现，相比以往的模型，分类器和 Siamese RNNs 都有所改进，其中 Siamese RNNs 的表现更为优异，同时也对嵌入模型和网络结构等变量进行了分析。

    Nov, 2016

  • 多视角循环神经声学词嵌入

    本研究用多视角学习、双向 LSTM 嵌入模型和多视角对比损失函数等方法学习神经音频单词嵌入，实现在语音检索和识别任务中避免模棱两可的子词表示，改善词汇区分效果，并在交叉视图词区分和词相似度等其他任务中展示了应用前景。

    Nov, 2016

  • 使用深度学习框架评估语音情感识别的原始波形

    通过直接利用六个不同数据集的原始音频文件进行训练，本研究提出了一种模型用于识别情感，没有进行特征提取阶段。该模型通过支持向量机、决策树、朴素贝叶斯、随机森林等机器学习算法，以及集成学习和深度学习技术进行评估，并与现有的方法进行比较。实验证明，使用原始音频文件的 CNN 模型在 TESS+RAVDESS 数据集上取得了 95.86% 的准确率，从而成为了新的最先进方法。在说话人无关的音频分类问题中，该模型在 EMO-DB，RAVDESS，TESS 和 SAVEE 数据集上分别取得了 90.34%，90.42%，99.48% 和 85.76% 的准确率。

    Jul, 2023