MMJun, 2023

利用 Transformer 网络重建钢琴演奏中的人类表现力

PDF
TL;DR本文提出了一种使用多层双向 Transformer 编码器重建钢琴演奏人类表现力的新方法，并使用现有的转录模型得到的转录乐谱来训练我们的模型，在此基础上通过控制采样过程中的钢琴家身份探索我们系统模拟不同钢琴家表现力差异的能力，在统计生成的表现力强的演奏和听力测试中对该系统进行评估，结果表明我们的方法实现了从转录分数生成类似于人类钢琴演奏的结果的最新技术水平，同时全面且一致地重建了人类的表现力，这进一步提出了挑战。
发现论文，激发创造
  • 流行音乐变压器：基于节拍的建模和生成富有表现力的流行钢琴作品

    本文提出将乐谱数据表示成具有韵律结构的形式，通过开发更好的数据输入方式，我们建立了一个节奏更流畅的 Pop 钢琴音乐生成模型 - Pop Music Transformer。

    Feb, 2020

  • 基于 Transformer 的序列到序列钢琴转录

    本文展示了使用通用 encoder-decoder Transformer 和标准解码方法可实现与专业领域特定设计模型同等效果的自动音乐转录方法，从而取消了任务特定架构的需求，简化了转录，为集中精力于数据集创建和标注而非模型设计提供了可能性。

    Jul, 2021

  • 关于利用简单基于帧的方法进行钢琴转录的潜力

    在钢琴转录任务中，采用基于神经网络的帧级别方法，并通过系统比较适用于神经网络的不同流行的输入表示方法并充分利用训练技术和新的正则化方法，得出了一个比目前公开发表的最新技术在 MAPS 数据集上性能更好的钢琴转录器。因此，本文提出这种简单的方法作为未来音乐转录研究的新基准。

    Dec, 2016

  • 基于数据驱动的鲁棒自动钢琴转录分析

    通过研究训练数据的角度，本文通过在 MAESTRO 数据集的原始和重新执行版本上使用各种数据增强技术，获得了 MAPS 数据集的最新音符起始准确性，而无需查看其他的训练数据。

    Feb, 2024

  • 跨域预训练改进多乐器音乐生成

    该研究探讨了如何使用 Transformer 结构生成多乐器音乐乐谱，使用 NES-MDB 数据集进行了实验并采用预训练方法利用 Lakh MIDI 数据集进一步提高生成效果。

    Jul, 2019

  • 透过二阶段方法构建及修饰：结构良好的钢琴演奏生成

    本文提出了一种基于 Transformer 模型的两阶段框架，首先用 Compose & Embellish 方法创作出一个简单音乐谱，然后加入 Begleitungen 及其他表现手法， 明显缩小了当前技术与真实表演之间的差距，同时提高了乐曲的丰富性和连贯性，也可以对非钢琴数据进行预训练。

    Sep, 2022

  • 使用 Transformer 自动编码器对音乐风格进行编码

    本篇论文介绍 Transformer 自编码器用于符号音乐生成，提高性能风格和旋律的分开控制能力，并在 MAESTRO 及 Youtube 数据集上实现了比基线更好的结果。

    Dec, 2019

  • 互动背景下的音乐生成调查

    近年来，机器学习，特别是生成对抗神经网络（GANs）和基于注意力的神经网络（transformers），已成功用于作曲和生成音乐，包括旋律和多声部作品。然而，现有研究主要集中在风格复制和转换的问题上，并未涉及到人机共同创作和评估。本文综述了音乐表征、特征分析、启发式算法、统计和参数建模，人类和自动化评估措施，并讨论了哪种方法和模型最适合于实时互动。

    Feb, 2024

  • 基于神经自回归模型的高效实时钢琴转录

    通过改进神经网络设计和模型大小，实现实时推断的钢琴转录模型，与现有最先进模型在音符精确度上相媲美并具有高性能及轻量级特点。

    Apr, 2024

  • 图灵与人工伙伴一同演奏钢琴

    音乐是一种固有的社交活动，设计人工合作伙伴以展现类似社交体验的进展有限。研究表明，采用生成模型的神经网络架构适合生成音乐谱，但社交音乐演奏涉及超越乐谱的要素，需要与其他音乐家的想法相补和正确掌握节奏。研究使用一个经过训练的变分自动编码器神经网络与人类伙伴进行定时的问答式钢琴合奏任务，参与者对演奏质量和身临其境的自我他人整合体验进行了评分。虽然最简单设计和最高相似性参数的人工伙伴并未在某些指标上得到与人类伙伴不同的评分，但整体而言，人工伙伴的评分低于人类伙伴，这表明实现社交人工智能需要交互复杂性而非生成复杂性。

    Feb, 2024