REFFLY: 曲调约束的歌词编辑模型
本文提出了 SongMASS 方法来解决自动生成歌曲时歌词到旋律生成和旋律到歌词生成所面临的限制问题,使用基于掩蔽序列到序列预训练和基于注意力的对齐建模,表现出明显优于基线方法的歌词和旋律生成质量。
Dec, 2020
本研究介绍了一种新的歌词旋律生成范例,即Re-creation of Creations (ROC),该范例通过将大量由神经旋律语言模型生成的音乐片段分阶段储存在数据库中,再根据作曲指南和旋律语言模型的重要性评分,检索音乐片段以从歌词和和弦中重新创作旋律,实现好的歌词旋律特征对齐。
Aug, 2022
本文提出了一种可控的中文歌词生成和编辑系统SongRewriter,使用随机化的多级掩码策略进行训练,包括新歌词生成和现有歌词片段编辑,加入关键词提示和新的解码约束,提高了词汇选择的控制性以及末韵和内韵方案的灵活性。同时,提出了三个新的歌词押韵评估度量标准,并通过自动和人工评估表明,该模型在内容和韵律质量方面优于现有模型。
Nov, 2022
本文提出了一种新颖的编码器-解码器框架——Lyrics-Melody Translation with Adaptive Grouping (LTAG),通过自适应音符分组模块,可以同时翻译源歌词并确定每个解码步骤中对齐音符的数量,通过注释数据和后翻译使用大量的增广数据,实现了自动歌曲翻译的完整解决方案,并在英汉歌曲翻译数据集上进行实验,结果表明模型在自动和人类评估中均有效。
Mar, 2023
本文提出了一种基于分层框架和旋律-歌词对齐的歌词生成模型,能够在没有旋律-歌词对齐数据的情况下,通过对内容进行控制生成更可唱、更易懂、更连贯和有韵律的高质量歌词。
May, 2023
本研究提出一种层次化歌词生成框架,通过将已知旋律编码为解码约束并获得歌曲大纲和完整歌词的生成,实现未经过任何对齐的歌曲和歌词数据即可生成高质量歌词,并通过歌曲大纲实现内容控制。实验结果表明,本模型相对于SongMASS等强基线模型,基于人类评分获得了24%的整体质量改善。
May, 2023
我们提出了一种可控的歌词到旋律生成网络,能够以用户期望的音乐风格从歌词中生成逼真的旋律,通过验证各项指标,初始控制生成的旋律的研究表明具有更好的生成质量和与用户的互动性。
Jun, 2023
本文提出一种新的方法LOAF-M2L来生成旋律与歌词之间兼容的歌词,并引入音乐学研究中的信息来帮助模型学习旋律的细粒度格式要求,在主观评估中相对于现有最先进的旋律到歌词生成模型显示出63.92%和74.18%的相对改进。
Jul, 2023
我们利用基于字符级的语言模型来从符号化旋律生成音节级歌词,通过对一个字符级预训练模型进行微调,将语言知识整合到音节级Transformer生成器的束搜索中。通过基于ChatGPT的评估,我们展示了生成歌词时的增强一致性和正确性。
Oct, 2023