本文章介绍了 DadaGP，这是一个全新的符号音乐数据集，包括 26,181 首 GuitarPro 格式的歌曲，涵盖 739 种音乐流派，以及一个适用于生成序列模型（如 Transformer）的令牌格式。使用 DadaGP 可以训练吉他谱生成器、创建新的音乐风格、音乐风格转移和艺术家 / 流派分类等用例。

Jul, 2021

本文介绍如何使用深度学习技术创造出吉他 Tablature 格式的音乐，实现了基于乐器和音乐风格的控制，证明在生成吉他专业音乐方面的相对效果。

Feb, 2023

近年来，机器学习，特别是生成对抗神经网络（GANs）和基于注意力的神经网络（transformers），已成功用于作曲和生成音乐，包括旋律和多声部作品。然而，现有研究主要集中在风格复制和转换的问题上，并未涉及到人机共同创作和评估。本文综述了音乐表征、特征分析、启发式算法、统计和参数建模，人类和自动化评估措施，并讨论了哪种方法和模型最适合于实时互动。

Feb, 2024

本研究提出使用深度模型进行跨领域的知识迁移，将大规模预训练的语言模型应用于鼓演奏的 MIDI 文件生成。研究表明，GPT3 模型能够生成相对合理的鼓声，但使用其他没有预训练的模型却无法实现。同时，作者还提出了定制结构评估方法，以比较生成的音乐与专业音乐家演奏的音乐，并揭示了此种方法的优缺点。该研究表明，使用大型语言模型进行跨领域迁移学习具有应用前景。

Jan, 2023

本文提出将乐谱数据表示成具有韵律结构的形式，通过开发更好的数据输入方式，我们建立了一个节奏更流畅的 Pop 钢琴音乐生成模型 - Pop Music Transformer。

Feb, 2020

本文提出了三个基于生成对抗网络的符号化多轨音乐生成模型，并通过客观和主观的评估方法证明了这些模型的有效性。此外，该文还介绍了一些评估生成结果的标准，并通过与人类协作音乐生成的实验进行探讨。

Sep, 2017

该论文提出了一种新型 Transformer 解码器架构，其用于不同的前馈头来模拟不同类型的 tokens，以及一种扩展 - 压缩技巧将邻近的 tokens 分组成复合单词的序列，表现出比现有模型更快和同等质量的学习能力.

Jan, 2021

本文探讨了基于 Transformer 的语言模型在自动定理证明中的应用，提出了基于语言模型的生成能够解决自动定理证明器与人类相比的主要限制之一 —— 原始数学术语的生成问题。我们提出了一个自动证明器和证明辅助工具 GPT-f，使用 Metamath 形式语言，并分析了其性能。 GPT-f 发现了新的简短证明，并被采纳为正式数学社区所接受，这是我们所知道的第一次基于深度学习的系统为正式数学社区做出的贡献。

Sep, 2020

该论文在音乐生成的深度学习系统中引入了一种新颖的图表示方法和深度变分自编码器，将音乐的结构和内容分开生成，实现了更具层次结构的人机交互音乐创作方式。

Jul, 2023

应用深度学习技术对符号音乐进行理解的第一步是将音乐作品（主要是 MIDI 格式）转换为预定义令牌的序列，如音符音高、音符速度和和弦。然后，将这些序列输入神经序列模型以完成特定任务。在本文中，我们提出了一种新的方法 ——NG-Midiformer，用于理解符号音乐序列，该方法利用了 N-gram 方法。我们的方法首先使用我们提出的无监督复合法将音乐作品处理成类似单词的序列，然后使用我们的 N-gram Transformer 编码器，该编码器能够有效地融合 N-gram 信息，以增强用于更好理解音乐序列的主要编码器部分。大规模音乐数据集上的预训练过程使模型能够深入学习包含在音乐序列中的 N-gram 信息，并在微调阶段应用此信息进行推理。实验证明了我们方法的有效性，并在一系列音乐理解下游任务中实现了最先进的性能。

Dec, 2023