Apr, 2024

音乐信息检索中用于音乐流派识别的一种新型音频表示

PDF
TL;DR通过将音乐进行深度向量量化，为创新的生成音乐模型 Jukebox 创建了一种新型的音频表示方法，并使用与最先进水平相当的数据集进行比较分析，结果显示 Jukebox 的音频表示方法在预训练使用限定数据集时不如 Mel 频谱图，这可能是因为 Jukebox 的音频表示没有充分考虑到人类听觉感知的特殊性。
music information retrievalaudio representationmel spectrogramsjukeboxtransformer design
发现论文，激发创造
  • 基于编码的音频语言建模为音乐信息检索学习有用表征

    采用编码音频预训练的语言模型，可以为音乐信息检索任务提供更有用的特征，相较于以标签为预训练的传统模型，使用编码音频预训练模型可以提供更强的检索性能，并能够弥补传统方法中的盲点。

    Jul, 2021

  • MelNet: 频域音频生成模型

    利用二维时频表示，概率模型和多尺度生成，设计了一个能够捕捉高时间尺度结构的模型，可以在各种音频生成任务中达到比以往更好的效果。

    Jun, 2019

  • Jukebox：音乐生成模型

    Jukebox 是一款基于 VQ-VAE 和 Transformer 的原始音频领域音乐生成模型，可以生成高保真度、多样化且长达数分钟的音乐，在音乐和声音风格上可以受到艺术家和类型的影响，并且根据未对齐的歌词进行调整，其生成音乐样本、模型权重和代码已经发布在指定链接上。

    Apr, 2020

  • 音乐音频表示的适当对比自监督学习策略

    本文研究了不同对比自监督学习方案学习的音乐音频表示，并在不同的音乐信息检索任务中经验性地评估嵌入向量，以分析结果并讨论对不同 MIR 任务的适当对比学习策略方向，表明这些表示传达了关于音乐的听觉特征的综合信息，尽管每个自我监督策略在某些方面的信息方面有效。

    Jul, 2022

  • 音乐类型分类：使用 Mel 频率倒谱系数和 Mel 频谱图的 CNN 和 XGBoost 方法的比较分析

    研究通过比较研究了卷积神经网络（CNN）、VGG16 和 eXtreme Gradient Boosting（XGBoost）三种模型在不同特征上的表现，30 秒的梅尔频谱图和 3 秒的梅尔频率倒谱系数（MFCCs），结果表明 MFCC XGBoost 模型胜出，此外，在数据预处理阶段应用数据分割可以显著提升 CNN 的性能。

    Jan, 2024

  • 从离散的标记到高保真音频的多频带扩散

    利用高保真多带扩散模型，基于低比特率离散表示生成任何类型的音频，其感知质量比最先进的生成技术更好。

    Aug, 2023

  • 基于生成式预训练的旋律转录

    利用 Jukebox 描述音频数据，并结合新数据集进行模型训练，在旋律转录方面取得了令人瞩目的进展，从而实现了直接从音频转录可阅读的乐谱的 Sheet Sage 系统。

    Dec, 2022

  • 不变性和音乐分类的深度表示

    本研究提出使用视觉中腹流的机制，构建计算模块以提取不变和有差别的音频表示，实现音频流派分类的无监督学习

    Apr, 2014

  • 一种用于音乐自动标记的深度特征包模型

    本论文提出一种 two-stage learning model，首先使用无监督学习将音频轨迹的局部频谱模式投射到高维稀疏空间中，并将其作为特征包进行总结。然后，在逐层无监督学习特征包的基础上初始化深度神经网络，结合标签标注对其进行精调。在 Magnatagatune 数据集上测试表明，该模型取得了高性能的效果。

    Aug, 2015

  • 音乐生成是否能够为 MIR 任务创建训练数据？

    通过使用基于人工智能的生成音乐系统为音乐信息检索（MIR）任务生成训练数据，我们探讨了更广泛的概念。为了启动这个研究方向，我们进行了一项初步实验，利用 MusicGen 创建了一个完全人工的音乐数据集，在此基础上我们训练了一个流派分类器。我们制作了超过 50,000 个以流派为条件的文本描述，并生成了一系列覆盖五种音乐流派的音乐片段。我们的初步结果表明，所提出的模型能够从人工音乐曲目中学习到流派特定的特征，并在现实世界的音乐录音中推广得很好。

    Nov, 2023