Mar, 2023

歌曲中的美感翻译：联合学习调整旋律与翻译歌词

PDF
TL;DR本文提出了一种新颖的编码器 - 解码器框架 ——Lyrics-Melody Translation with Adaptive Grouping (LTAG)，通过自适应音符分组模块，可以同时翻译源歌词并确定每个解码步骤中对齐音符的数量，通过注释数据和后翻译使用大量的增广数据，实现了自动歌曲翻译的完整解决方案，并在英汉歌曲翻译数据集上进行实验，结果表明模型在自动和人类评估中均有效。
song translationlyrics-melody alignmentencoder-decoder frameworkadaptive note groupingdata augmentation
发现论文，激发创造
  • 无监督的旋律引导歌词生成

    本文提出了一种基于分层框架和旋律 - 歌词对齐的歌词生成模型，能够在没有旋律 - 歌词对齐数据的情况下，通过对内容进行控制生成更可唱、更易懂、更连贯和有韵律的高质量歌词。

    May, 2023

  • 无监督旋律 - 歌词生成

    本研究提出一种层次化歌词生成框架，通过将已知旋律编码为解码约束并获得歌曲大纲和完整歌词的生成，实现未经过任何对齐的歌曲和歌词数据即可生成高质量歌词，并通过歌曲大纲实现内容控制。实验结果表明，本模型相对于 SongMASS 等强基线模型，基于人类评分获得了 24% 的整体质量改善。

    May, 2023

  • 跨越边界的歌曲：可唱和可控的神经歌词翻译

    本文将词曲翻译形式化成有约束的翻译问题，将翻译学文献的理论指导和实践技术转化为协助序列生成的神经机器翻译方法，探索更好的适应方法，并应用于英文到中文的词曲翻译系统。

    May, 2023

  • 可演唱歌词翻译的计算评估框架

    本文介绍了一个计算框架，旨在定量评估可唱译歌词，该框架无缝地融合了歌曲、语言和文化维度；通过收集一个可唱歌词数据集，并进行可唱和不可唱歌词的比较分析，我们验证了我们框架的有效性；我们的多学科方法揭示了歌曲翻译艺术的关键因素，并为未来的计算歌词翻译评估奠定了坚实基础。

    Aug, 2023

  • 从歌词中生成神经元旋律

    本文提出了一种基于序列到序列框架，利用神经编码器和分层解码器，结合自然语言和旋律创作音乐曲调及准确标定的模型，并在 18,451 首流行歌曲中的歌词 - 旋律匹配对上进行了实验，论文通过人工评估证明了模型生成的旋律比基线模型更优秀。

    Sep, 2018

  • 声调语言自动歌曲翻译

    本文提出了一种用于声调语言的自动歌曲翻译系统，解决了将单词的音高与歌曲旋律对齐并传达原意的独特挑战。该系统结合预训练和三种解码约束，成功实现了语义和歌唱性的平衡。

    Mar, 2022

  • 基于深度关注对齐网络的从不完整歌词产生旋律

    提出了一种深度注意力对齐网络，旨在以类似于人类音乐创作的方式，通过给定的不完整歌词来自动预测歌词和旋律。文章中探索了深度神经网络从歌词到旋律的编码和解码方式，并利用注意力机制在歌词到旋律生成过程中对齐预测的歌词和旋律。定量及定性评价表明，所提出的方法确实能够为给定不完整的种子歌词创作出适当的歌词和相应的旋律。

    Jan, 2023

  • LOAF-M2L: 歌词生成器的歌词和格式化的联合学习

    本文提出一种新的方法 LOAF-M2L 来生成旋律与歌词之间兼容的歌词，并引入音乐学研究中的信息来帮助模型学习旋律的细粒度格式要求，在主观评估中相对于现有最先进的旋律到歌词生成模型显示出 63.92％和 74.18％的相对改进。

    Jul, 2023

  • 自动歌词注释研究

    介绍自动歌词注释 (ALA) 任务，旨在通过重新表述原始文本并增加额外信息来帮助读者理解创意文本中的歧义和行话；分析翻译和检索模型在任务上的表现，并发现每个模型捕获任务重要的不同信息类型。

    Aug, 2017

  • 基于对比学习的多语言音频与歌词对齐

    本文介绍了一种新颖的歌词对齐系统，使用对抗学习导出跨模态嵌入，不仅训练简单、能使用弱标注数据、学习强大的文本模型，而且可用于多语言和获得了标准数据集下平均绝对误差小于 0.2 秒的最佳结果。

    Jun, 2023