基于条件自回归建模的谐波重构
本文探讨了采用自回归离散自编码器(ADAs)来模拟音乐块之间的长期依赖关系的方法,实现了在原始音频域中生成具有风格一致性的钢琴音乐。
Jun, 2018
本文提出将乐谱数据表示成具有韵律结构的形式,通过开发更好的数据输入方式,我们建立了一个节奏更流畅的 Pop 钢琴音乐生成模型 - Pop Music Transformer。
Feb, 2020
本文提出了一种基于Transformer架构的多音轨音乐生成系统Multi-Track Music Machine(MMM),通过对音乐材料的表示和注意力机制的利用,可以实现多音轨的音乐生成,并提供音轨级别和小节级别的插入、音轨内乐器和音符密度控制等功能。
Aug, 2020
JEN-1是一个通用高保真度的文本到音乐生成模型,通过整合自回归和非自回归训练技术,并且通过上下文学习实现文本引导的音乐生成、音乐修复和延续等多种生成任务,相对于先前的方法,在文本与音乐对齐、音乐质量和计算效率方面展现出优越的性能。
Aug, 2023
我们开发了InstructME,这是一个基于潜在扩散模型的指导式音乐编辑和混音框架,通过多尺度聚合巩固了U-Net,并引入和语义空间的和弦进行矩阵作为条件信息以提高旋律和谐。我们的方法在音乐质量、文本相关性和和谐度方面明显优于现有系统。
Aug, 2023
通过人工和自回归模型共同创建音频音轨的和声标注,我们提出了一种新颖的替代方法, 在自动产生和声预测后,人工稀疏地注释低模型置信度的部分,然后模型根据人工指导调整其预测,我们在一组流行音乐数据集上评估了我们的模型并展示了这种人工参与的提升效果。
Oct, 2023
可控音乐生成对于人工智能与人类共创音乐至关重要。大型语言模型在生成高质量音乐方面表现出了潜力,但其自回归生成的特性限制了其在音乐编辑任务中的实用性。为了弥合这一差距,我们引入了一种新颖的参数高效微调(PEFT)方法,通过此方法,自回归语言模型可以无缝地解决音乐修复任务。此外,我们的PEFT方法结合了基于帧级内容的控制,便于音轨调节的音乐细化和谱面调节的音乐编排。我们将此方法应用于优化MusicGen,一种领先的自回归音乐生成模型。我们的实验在多个音乐编辑任务中显示了有希望的结果,为未来的AI驱动音乐编辑工具提供了更灵活的控制。我们的工作演示页面和源代码可以在线上获取。
Feb, 2024
模拟音乐结构在生成符号音乐作品的人工智能系统中至关重要但具有挑战性。本文概述了整合连贯结构的技术的演变,从符号方法到基础和转换的深度学习方法,利用计算和数据在各种训练范式中的强大能力。最新阶段,我们评述了一种新兴技术,称为“子任务分解”,它涉及将音乐生成分解为独立的高级结构规划和内容创作阶段。这些系统通过提取旋律的骨架或结构模板来引导生成过程,从而纳入某种形式的音乐知识或神经符号方法。从审查的三个时期来看,已经取得了在主题和重复方面的进展,但在模拟人类作曲家风格下的扩展音乐作品中细微主题的发展仍然很困难。我们概述了几个关键的未来方向,以实现结合所有考察时期方法的协同效益。
Mar, 2024