JEN-1 是一个通用高保真度的文本到音乐生成模型，通过整合自回归和非自回归训练技术，并且通过上下文学习实现文本引导的音乐生成、音乐修复和延续等多种生成任务，相对于先前的方法，在文本与音乐对齐、音乐质量和计算效率方面展现出优越的性能。

Aug, 2023

通过 JEN-1 Composer 框架，我们提出了一种统一的方法，通过一个模型来有效地建模多轨音乐的边际、条件和联合分布，从而实现了灵活生成多轨音乐。我们引入了一种课程培训策略，让模型逐步掌握从单轨生成到灵活生成多轨组合的过渡。量化和定性评估表明，JEN-1 Composer 在可控性和高保真多轨音乐合成方面具有最先进的性能，为交互式 AI 辅助音乐创作和作曲提供了重要进展。

Oct, 2023

调查了在 few-shot 设置中对文本到音乐扩散模型进行个性化的工作。首次探索了将预训练的文本到音频扩散器与两种常用的个性化方法结合的组合。实验了音频特定数据增强对系统整体性能的影响，并评估了不同的训练策略。构建了一个包含提示和音乐片段的新数据集进行评估，使用基于嵌入和基于音乐的量化评估指标，以及用户研究进行定性评估。分析表明相似度度量与用户偏好一致，并且当前的个性化方法更容易学习到节奏音乐结构而非旋律。该研究的代码、数据集和示例资料对研究社区开放。

Sep, 2023

DreamArtist 是一种简单有效的方法，采用正负 prompt-tuning 学习策略，在保持生成可控性的同时生成多样化高质量图片，相比现有方法具有更出色的生成表现。

Nov, 2022

本文引入了 DeepJ 这一端到端的生成模型，能够在特定的作曲家风格混合条件下进行音乐创作；该模型包括学习音乐风格和音乐动力学等多种创新方法，通过人类评价表明该模型在风格迁移方面优于 Biaxial LSTM 方法。

Jan, 2018

通过预训练的 MusicGen 模型进行微调，我们引入 Instruct-MusicGen，它通过添加文本融合模块和音频融合模块，可以同时处理指令文本和音频输入，从而实现高效的文本转音乐编辑，提高了音乐语言模型在动态音乐制作环境中的应用广度。

May, 2024

我们介绍了 Coco-Mulla，这是一种用于音乐大型语言模型的基于内容的控制方法，通过参数高效的微调方法进行训练，在使用少于 300 首歌曲的小数据集进行调整时，相比于原始模型，使用了不到 4% 的参数。我们的方法实现了高质量的音乐生成，并通过和文本描述结合，展示了灵活的音乐变体生成和风格转换。

Oct, 2023

可控音乐生成对于人工智能与人类共创音乐至关重要。大型语言模型在生成高质量音乐方面表现出了潜力，但其自回归生成的特性限制了其在音乐编辑任务中的实用性。为了弥合这一差距，我们引入了一种新颖的参数高效微调（PEFT）方法，通过此方法，自回归语言模型可以无缝地解决音乐修复任务。此外，我们的 PEFT 方法结合了基于帧级内容的控制，便于音轨调节的音乐细化和谱面调节的音乐编排。我们将此方法应用于优化 MusicGen，一种领先的自回归音乐生成模型。我们的实验在多个音乐编辑任务中显示了有希望的结果，为未来的 AI 驱动音乐编辑工具提供了更灵活的控制。我们的工作演示页面和源代码可以在线上获取。

Feb, 2024

提出一种基于参考概念的无需微调的方法生成多概念组合的定制图像，仅需每个概念一幅图像作为输入。通过引入多参考自注意力机制和加权蒙版策略，产生与给定概念一致且更好地与输入文本对齐的图像。与其他基于训练的方法相比，在多概念组合和单概念定制方面，方法表现优秀且更简单。

May, 2024

该研究提出了一种音乐推荐的方法，允许用户使用自由形式的自然语言来引导音乐选择，解决了没有音乐文本描述的挑战，并使用文本合成方法训练了新的三模态模型，该模型的检索音频可通过与视频呈现的视觉风格和语言查询中描述的音乐风格、心情或器乐匹配，以匹配两个输入模态的准确性。

Jun, 2023