本文探讨了采用自回归离散自编码器（ADAs）来模拟音乐块之间的长期依赖关系的方法，实现了在原始音频域中生成具有风格一致性的钢琴音乐。

Jun, 2018

Jukebox是一款基于VQ-VAE和Transformer的原始音频领域音乐生成模型，可以生成高保真度、多样化且长达数分钟的音乐，在音乐和声音风格上可以受到艺术家和类型的影响，并且根据未对齐的歌词进行调整，其生成音乐样本、模型权重和代码已经发布在指定链接上。

Apr, 2020

该论文提出了一种新型Transformer解码器架构，其用于不同的前馈头来模拟不同类型的tokens，以及一种扩展-压缩技巧将邻近的tokens分组成复合单词的序列，表现出比现有模型更快和同等质量的学习能力.

Jan, 2021

本文介绍了MusicFrameworks，这是一种基于深度学习的分层音乐结构表示方法；并提出了一种多步骤的生成过程，根据长期重复结构、和弦、旋律轮廓和节奏约束生成完整的旋律。研究结果表明，其中一半的旋律比起POP909数据集中由人类作曲家创作的音乐更好或同样好。

Sep, 2021

本研究通过引入条件变分自动编码器作为神经网络，提出了一种名为NSVB的算法以解决唱歌者专业音色的问题，主要包括时间伸缩技术和基于隐变量的映射算法，该算法能够有效地进行音高校正并且在客观和主观尺度上均获得了更好的实验效果。

Feb, 2022

本研究探讨了不同的采样技术对音乐质量的影响，训练了一个高容量的变形器模型，使用概率截断采样技术分析样本的音乐特性，在优化和非优化的情况下评估了生成的样本。

Aug, 2023

本文提出了基于组成层次结构实现完整音乐作品建模的方法，通过定义一种分层语言对流行歌曲的符号化表示进行建模。通过级联扩散模型训练了分层语言模型，实验证明该模型能够生成具有可识别的全局歌词-副歌结构和协调音的完整音乐作品，且音乐质量高于基准模型。此外，还展示了该模型具有灵活的可控性，用户可以通过从可解释的分层语言中采样或调整预训练的外部表示来控制音乐的流动。

May, 2024

该研究探索生成式人工智能与人类艺术过程相交的关键领域，针对人类为中心的自动歌曲创作中对齐的关系进行研究。通过提出口语描述到歌曲生成的新任务，着重于将生成的内容与口语人类表达相对齐。为了充分满足人类听觉期望并与音乐规范结构对齐的最终目标，该任务旨在弥合口语语言理解和AI模型中的听觉表达之间的鸿沟。通过介绍由专业音乐家和业余爱好者手动注释的Caichong音乐数据集（CaiMD），克服了该领域中数据匮乏的限制。与现有具有专家注释或存在固有偏见的自动生成数据集不同，CaiMD更能满足我们将AI生成的音乐与用户期望结果对齐的目的。此外，提出了一种创新的名为MuDiT/MuSiT的单阶段框架，用于在歌曲创作中实现有效的人机对齐。该框架不仅实现了口语语言与音乐知觉之间的跨模态理解，还确保生成的歌曲与用户期望结果对齐。MuDiT/MuSiT采用一种DiT/SiT模型，用于端到端生成如旋律、和声、节奏、人声和乐器等音乐元素。该方法确保所有生成的音乐元素之间具有和谐的音响连贯性，以更好地与人类听觉期望产生共鸣。

Jul, 2024

本研究针对现有音高和音色解构方法对单一乐器音乐音频的局限性，提出了DisMix，一个生成框架，能够将音高和音色作为模块化构建块，构建源的旋律和乐器。我们发现通过操控这些解构的表示，可以生成新颖的乐器音高和音色组合，对丰富音频合成领域具有重要影响。

Aug, 2024

本研究针对印度古典音乐中歌手人声旋律生成的不足，通过引入细致的音高轮廓作为中介表示，提出了GaMaDHaNi模块化双层层次结构模型。研究结果表明，该模型在音乐人机协作中可能表现更佳，可用于引导生成和粗音高调节等应用。

Aug, 2024