感知启发的图卷积在音乐理解任务中的应用

IJCAIMay, 2024

感知启发的图卷积在音乐理解任务中的应用

Perception-Inspired Graph Convolution for Music Understanding Tasks

Emmanouil Karystinaios, Francesco Foscarin, Gerhard Widmer

TL;DR我们提出了一种新的图卷积块，称为 MusGConv，专门为高效处理音乐乐谱数据而设计，并根据一般感知原理进行了激发。它关注音乐的两个基本维度，音高和节奏，并考虑了这些组成部分的相对和绝对表示。我们在四个不同的音乐理解问题上评估了我们的方法：单声部分离、和声分析、乐句检测和作曲家识别，这在抽象术语中转化为不同的图学习问题，即节点分类、链接预测和图分类。我们的实验证明了 MusGConv 在以上三个任务上改善了性能，同时概念上非常简单和高效。我们解释这一结果是证据表明，在开发音乐乐谱数据的图网络应用时，包括基本音乐概念的感知驱动处理是有益的。

Abstract

We propose a new graph convolutional block, called musgconv, specifically designed for the efficient processing of musical score data and motivated by general perceptual principles. It focuses on two fundamental

musgconv graph convolutional block pitch rhythm perception-informed processing

发现论文，激发创造

具有歌曲结构图分析的组合音乐生成模型

提出了一种符号音乐生成模型，使用了歌曲结构图分析网络构建了一个图，利用音符序列和乐器等信息作为节点特征，音符序列之间的相关性作为边特征。通过训练图神经网络来获取图中节点的表示，然后将节点表示作为 Unet 的输入生成 CONLON 钢琴滚动图像潜变量。实验结果表明，该模型可以生成全面形式的音乐，为符号音乐生成提供了一种有前景且创新的方法，并在音乐信息检索的各个领域，包括音乐创作、音乐分类和音乐修复系统中具有潜在的应用价值。

Dec, 2023

基于图的多音轨音乐生成

该论文在音乐生成的深度学习系统中引入了一种新颖的图表示方法和深度变分自编码器，将音乐的结构和内容分开生成，实现了更具层次结构的人机交互音乐创作方式。

Jul, 2023

使用图神经网络对古典音乐符号的节奏检测

本文介绍了将符号乐谱视为图形来解决 Cadence 检测任务的方法，使用 Graph Convolutional Network 作为分类器，并证明了该方法可以检测多个层次的粒度。

Aug, 2022

卷积的反向旋律

该研究使用卷积神经网络和阻塞 Gibbs 抽样方法生成音乐，比传统生成方法更加人性化和高质量。

Mar, 2019

PerformanceNet: 多频段卷积残差网络得分转音频音乐生成

提出了一个深度卷积模型，学习了乐谱和音频之间的符号表示之间的得分与音频之间的映射，通过用户研究发现，该模型在自然度和情感表现方面的平均意见分数高于 WaveNet 模型和两个商业声音库。