Feb, 2024

SongComposer: 歌曲生成中用于歌词和旋律创作的大型语言模型

PDF
TL;DRSongComposer 是一种创新的基于 LLM 的歌曲作曲技术，通过利用 LLM 的能力来理解和生成具有象征性歌曲表示的旋律和歌词，通过符号化歌曲表示的方式，使 LLM 能够像人类一样明确地作曲，通过 SongCompose-PT 预训练数据集的收集和充分的预训练，SongComposer 在歌词到旋律生成、旋律到歌词生成、歌曲延续和文本到歌曲创作等领域展现出优越的性能。
发现论文，激发创造
  • ByteComposer：一种基于语言模型代理的类人类旋律创作方法

    通过混合互动与知识理解特点将大型语言模型与现有符号音乐生成模型有机结合，我们提出了 ByteComposer 框架，该框架模拟了人类创作者的创作流程，通过四个独立步骤：概念分析 - 草稿创作 - 自我评估和修改 - 审美选择，实现了与人类创作者相媲美的旋律创作代理。我们在 GPT4 和几个开源的大型语言模型上进行了大量实验，实验证实了我们框架的有效性。此外，我们还邀请了专业音乐作曲家进行了多维度评估，最终结果表明在音乐创作的各个方面，ByteComposer 代理达到了初学者作曲家的水平。

    Feb, 2024

  • ComposerX: 多智能体符号音乐创作与 LLMs

    通过引入一个基于代理的符号音乐生成框架 ComposerX，我们进一步探索和提升 LLMs 在音乐创作中的潜力，结果表明 ComposerX 能够产生具有吸引力的连贯多声部音乐作品，并遵守用户的指导。

    Apr, 2024

  • 从歌词中生成神经元旋律

    本文提出了一种基于序列到序列框架，利用神经编码器和分层解码器，结合自然语言和旋律创作音乐曲调及准确标定的模型，并在 18,451 首流行歌曲中的歌词 - 旋律匹配对上进行了实验，论文通过人工评估证明了模型生成的旋律比基线模型更优秀。

    Sep, 2018

  • ChatMusician：理解和生成音乐的 LLM 方法

    我们介绍了 ChatMusician，这是一个开源的大型语言模型，基于在 ABC 符号表示和音乐作为第二语言上进行连续预训练和微调的 LLaMA2，它能够理解和生成音乐，并能够创作结构良好、完整的音乐作品，超过了 GPT-4 基准模型。

    Feb, 2024

  • 基于音节结构和上下文的汉语歌词条件生成

    介绍了一种用于生成汉语歌词的模型，该模型基于原始旋律并考虑了汉语音节结构及语义。通过使用多通道序列到序列模型，同时考虑词组结构和语义，其中一个用于编码音节结构，另一个用于语义编码。使用大规模的汉语歌词语料库进行模型训练，并通过自动和人工评估验证了模型的有效性。是目前关于考虑音乐和语言的双重视角的汉语歌词生成较少的报告之一。

    Jun, 2019

  • SongMASS：基于预训练和对齐约束的自动作曲

    本文提出了 SongMASS 方法来解决自动生成歌曲时歌词到旋律生成和旋律到歌词生成所面临的限制问题，使用基于掩蔽序列到序列预训练和基于注意力的对齐建模，表现出明显优于基线方法的歌词和旋律生成质量。

    Dec, 2020

  • 带有可控内容和韵律方案的中文歌曲改写系统 SongRewriter

    本文提出了一种可控的中文歌词生成和编辑系统 SongRewriter，使用随机化的多级掩码策略进行训练，包括新歌词生成和现有歌词片段编辑，加入关键词提示和新的解码约束，提高了词汇选择的控制性以及末韵和内韵方案的灵活性。同时，提出了三个新的歌词押韵评估度量标准，并通过自动和人工评估表明，该模型在内容和韵律质量方面优于现有模型。

    Nov, 2022

  • 无监督的旋律引导歌词生成

    本文提出了一种基于分层框架和旋律 - 歌词对齐的歌词生成模型，能够在没有旋律 - 歌词对齐数据的情况下，通过对内容进行控制生成更可唱、更易懂、更连贯和有韵律的高质量歌词。

    May, 2023

  • 无监督旋律 - 歌词生成

    本研究提出一种层次化歌词生成框架，通过将已知旋律编码为解码约束并获得歌曲大纲和完整歌词的生成，实现未经过任何对齐的歌曲和歌词数据即可生成高质量歌词，并通过歌曲大纲实现内容控制。实验结果表明，本模型相对于 SongMASS 等强基线模型，基于人类评分获得了 24% 的整体质量改善。

    May, 2023

  • InternLM-XComposer：面向高级文本图像理解与构图的视觉语言大模型

    我们提出了 InternLM-XComposer，一个能够实现高级图像 - 文本理解和组合的视觉语言模型。该模型具有三个吸引人的特点：1）交错式文本 - 图像组合：InternLM-XComposer 可以轻松生成连贯且情境感强的文章，将图像无缝地融入其中，提供更具吸引力和沉浸式的阅读体验。只需提供标题，我们的系统将生成相应的手稿。它能够智能地识别文本中可以增强内容的图像区域，并自动插入最合适的视觉候选。2）基于丰富的多语言知识的理解：通过在广泛的多模态多语言概念上进行训练，并采用精心设计的策略，增强了图片 - 文本的理解能力。3）最先进的性能：我们的模型在包括 MME 基准、MMBench、MMBench-CN、Seed-Bench 和 CCBench（中国文化基准）等各种主流视觉 - 语言基础模型基准测试中始终取得最先进的结果。综上所述，InternLM-XComposer 巧妙地融合了先进的文本 - 图像理解和组合，革新了视觉 - 语言交互，并提供了新的见解和机会。InternLM-XComposer 带有 70 亿参数的模型已公开提供于此 URL。

    Sep, 2023