SongMASS:基于预训练和对齐约束的自动作曲
本文提出了一种基于分层框架和旋律 - 歌词对齐的歌词生成模型,能够在没有旋律 - 歌词对齐数据的情况下,通过对内容进行控制生成更可唱、更易懂、更连贯和有韵律的高质量歌词。
May, 2023
本研究提出一种层次化歌词生成框架,通过将已知旋律编码为解码约束并获得歌曲大纲和完整歌词的生成,实现未经过任何对齐的歌曲和歌词数据即可生成高质量歌词,并通过歌曲大纲实现内容控制。实验结果表明,本模型相对于 SongMASS 等强基线模型,基于人类评分获得了 24% 的整体质量改善。
May, 2023
提出了一种深度注意力对齐网络,旨在以类似于人类音乐创作的方式,通过给定的不完整歌词来自动预测歌词和旋律。文章中探索了深度神经网络从歌词到旋律的编码和解码方式,并利用注意力机制在歌词到旋律生成过程中对齐预测的歌词和旋律。定量及定性评价表明,所提出的方法确实能够为给定不完整的种子歌词创作出适当的歌词和相应的旋律。
Jan, 2023
本文提出了一种基于序列到序列框架,利用神经编码器和分层解码器,结合自然语言和旋律创作音乐曲调及准确标定的模型,并在 18,451 首流行歌曲中的歌词 - 旋律匹配对上进行了实验,论文通过人工评估证明了模型生成的旋律比基线模型更优秀。
Sep, 2018
SongComposer 是一种创新的基于 LLM 的歌曲作曲技术,通过利用 LLM 的能力来理解和生成具有象征性歌曲表示的旋律和歌词,通过符号化歌曲表示的方式,使 LLM 能够像人类一样明确地作曲,通过 SongCompose-PT 预训练数据集的收集和充分的预训练,SongComposer 在歌词到旋律生成、旋律到歌词生成、歌曲延续和文本到歌曲创作等领域展现出优越的性能。
Feb, 2024
本文提出了一种基于序列生成对抗网络(SeqGAN)的端到端旋律条件歌词生成系统,可以根据输入的旋律生成一行歌词,并对生成的主题或总体主题进行了探究,并证明输入条件不会对评估度量产生负面影响,同时可以产生更有意义的结果。
Oct, 2020
本研究提出了一个称为文本到歌曲合成的新任务,结合了歌声和伴奏生成。我们开发了一种名为 Melodist 的两阶段文本到歌曲方法,它包括了歌声合成和声乐到伴奏合成。Melodist 利用三塔对比预训练来学习更有效的文本表示,用于可控的声乐到伴奏合成。我们构建了一个从音乐网站挖掘的中文歌曲数据集,以解决数据稀缺问题。我们数据集的评估结果表明,Melodist 能够合成具有可比质量和风格一致性的歌曲。音频样本可以在此 https 网址中找到。
Apr, 2024
本文提出了一种新颖的编码器 - 解码器框架 ——Lyrics-Melody Translation with Adaptive Grouping (LTAG),通过自适应音符分组模块,可以同时翻译源歌词并确定每个解码步骤中对齐音符的数量,通过注释数据和后翻译使用大量的增广数据,实现了自动歌曲翻译的完整解决方案,并在英汉歌曲翻译数据集上进行实验,结果表明模型在自动和人类评估中均有效。
Mar, 2023
本文提出一种新的方法 LOAF-M2L 来生成旋律与歌词之间兼容的歌词,并引入音乐学研究中的信息来帮助模型学习旋律的细粒度格式要求,在主观评估中相对于现有最先进的旋律到歌词生成模型显示出 63.92%和 74.18%的相对改进。
Jul, 2023
该研究提出使用额外的语音和音乐相关特征,通过对大量独唱人声进行训练的声学模型来适应少量领域数据中的复调音乐,并利用常规声学特征一起实现鲁棒性,该策略在词汇边界对准错误的显著降低中取得了成效,特别是在具有长时间音乐插曲的复调数据上。
Jun, 2019