使用深度学习技术的音乐音频的端到端生成最近有很大活动。本文提出了一种替代范式，用于生成能够听取和响应音乐上下文的音乐生成模型。使用非自回归、基于 Transformer 的模型架构构建了这样一个模型，并提出了一系列新颖的架构和采样改进方法。我们在开源和专有数据集上训练了这个描述的架构。我们使用标准质量度量和基于音乐信息检索描述符的新方法来评估生成的模型。所得到的模型在音频质量上达到了最先进的基于文本的模型水平，并且在音乐连贯性方面表现出很强的上下文关联性。

Dec, 2023

本文探究了利用重要性抽样法进行神经机器翻译中的知识蒸馏，包括剪枝、假设上采样和下采样、去重和它们的组合，并使用标准的翻译质量评估方法对英德和英捷翻译模型进行训练与测试，结果显示，仔细选择合适的数据进行上采样并与原始数据组合，可获得更好的性能提升。

Apr, 2021

近年来，机器学习，特别是生成对抗神经网络（GANs）和基于注意力的神经网络（transformers），已成功用于作曲和生成音乐，包括旋律和多声部作品。然而，现有研究主要集中在风格复制和转换的问题上，并未涉及到人机共同创作和评估。本文综述了音乐表征、特征分析、启发式算法、统计和参数建模，人类和自动化评估措施，并讨论了哪种方法和模型最适合于实时互动。

Feb, 2024

本篇论文介绍 Transformer 自编码器用于符号音乐生成，提高性能风格和旋律的分开控制能力，并在 MAESTRO 及 Youtube 数据集上实现了比基线更好的结果。

Dec, 2019

利用二维时频表示，概率模型和多尺度生成，设计了一个能够捕捉高时间尺度结构的模型，可以在各种音频生成任务中达到比以往更好的效果。

Jun, 2019

本文提出了一种信息论分析的方法，可用于生成自然语言，可以更好地解释概率语言生成器的行为，提出了一种名为本地典型采样的过程，并证明该过程在生成摘要和故事时可以提高质量。

Feb, 2022

本研究采用了质量 - 多样性 (Q-D) 折衷方法来研究三种普遍采用的祖先采样算法 (top-k、nucleus 和 tempered sampling) 在无端语言生成任务中的表现，我们证明了现有的采样算法在性能上有相似之处，鉴于此，我们提出了三个共同特性，即：熵减、顺序保持和斜率保持，用两组新的采样算法验证它们对性能的影响以及性能随 Q-D 折衷与违反特性的关系，结果表明，违反这些特性会导致性能严重下降。

Sep, 2020

本研究提出了一种结构多样性的训练方法，可以改善 NLP 模型组合性的普适性问题，并发现结构多样化训练可提高样本效率和测试统计数据的多样性。

Mar, 2022

使用转移学习解决 Jazz 音乐中数据不足和乐曲自动生成的问题。实验使用两种转移学习方法，其中添加流派标签和使用流派分类器的模型比单独使用 Jazz 数据集更好，但不能充分利用流派不指定的数据集。

Aug, 2019

本研究提出使用深度模型进行跨领域的知识迁移，将大规模预训练的语言模型应用于鼓演奏的 MIDI 文件生成。研究表明，GPT3 模型能够生成相对合理的鼓声，但使用其他没有预训练的模型却无法实现。同时，作者还提出了定制结构评估方法，以比较生成的音乐与专业音乐家演奏的音乐，并揭示了此种方法的优缺点。该研究表明，使用大型语言模型进行跨领域迁移学习具有应用前景。

Jan, 2023