Jan, 2024

使用色度和语音特征的古典声乐演唱实时歌词对齐系统

PDF
TL;DR本文提出了一个用于古典声乐演出的实时歌词对齐系统，通过改进歌词对齐算法，找到了优化的色谱图和音素后验图的组合，分别捕捉歌声的旋律和语音特征，并将包含多个演出版本的 Schubert Winterreise 数据集重新塑造为实时歌词对齐的评估集。
发现论文，激发创造
  • 自动歌词与音频对齐的声学建模

    该研究提出使用额外的语音和音乐相关特征，通过对大量独唱人声进行训练的声学模型来适应少量领域数据中的复调音乐，并利用常规声学特征一起实现鲁棒性，该策略在词汇边界对准错误的显著降低中取得了成效，特别是在具有长时间音乐插曲的复调数据上。

    Jun, 2019

  • 基于对比学习的多语言音频与歌词对齐

    本文介绍了一种新颖的歌词对齐系统，使用对抗学习导出跨模态嵌入，不仅训练简单、能使用弱标注数据、学习强大的文本模型，而且可用于多语言和获得了标准数据集下平均绝对误差小于 0.2 秒的最佳结果。

    Jun, 2023

  • 歌曲中的美感翻译：联合学习调整旋律与翻译歌词

    本文提出了一种新颖的编码器 - 解码器框架 ——Lyrics-Melody Translation with Adaptive Grouping (LTAG)，通过自适应音符分组模块，可以同时翻译源歌词并确定每个解码步骤中对齐音符的数量，通过注释数据和后翻译使用大量的增广数据，实现了自动歌曲翻译的完整解决方案，并在英汉歌曲翻译数据集上进行实验，结果表明模型在自动和人类评估中均有效。

    Mar, 2023

  • 可演唱歌词翻译的计算评估框架

    本文介绍了一个计算框架，旨在定量评估可唱译歌词，该框架无缝地融合了歌曲、语言和文化维度；通过收集一个可唱歌词数据集，并进行可唱和不可唱歌词的比较分析，我们验证了我们框架的有效性；我们的多学科方法揭示了歌曲翻译艺术的关键因素，并为未来的计算歌词翻译评估奠定了坚实基础。

    Aug, 2023

  • 基于深度关注对齐网络的从不完整歌词产生旋律

    提出了一种深度注意力对齐网络，旨在以类似于人类音乐创作的方式，通过给定的不完整歌词来自动预测歌词和旋律。文章中探索了深度神经网络从歌词到旋律的编码和解码方式，并利用注意力机制在歌词到旋律生成过程中对齐预测的歌词和旋律。定量及定性评价表明，所提出的方法确实能够为给定不完整的种子歌词创作出适当的歌词和相应的旋律。

    Jan, 2023

  • 从歌词中生成神经元旋律

    本文提出了一种基于序列到序列框架，利用神经编码器和分层解码器，结合自然语言和旋律创作音乐曲调及准确标定的模型，并在 18,451 首流行歌曲中的歌词 - 旋律匹配对上进行了实验，论文通过人工评估证明了模型生成的旋律比基线模型更优秀。

    Sep, 2018

  • RECAP: 检索增强音乐字幕生成器

    通过对多模态数据的构建和深度学习模型的训练，本文提出了一种在音频和歌词之间学习对准关系的方法，并通过此方法优化跨模态对齐，并为音乐搜索和推荐提供了理论和实证结果。

    Dec, 2022

  • 基于音素的神经网络模型，用于音符级别的唱歌转录

    本文中，我们提出了一种使用唱歌语言特征的方法，通过使用 mel-scaled spectrogram 和 phonetic posteriorgram（PPG）来更准确地检测唱歌声音的音符起始点。我们的方法显著提高了唱歌转录的性能，并强调了语言特征在唱歌分析中的重要性。

    Apr, 2023

  • 音频与谱对准的混合方法

    使用神经网络作为 Dynamic Time Warping (DTW) 方法的预处理步骤，可以生成鲁棒的、适应性强的自动音乐配准。

    Jul, 2020

  • SongMASS：基于预训练和对齐约束的自动作曲

    本文提出了 SongMASS 方法来解决自动生成歌曲时歌词到旋律生成和旋律到歌词生成所面临的限制问题，使用基于掩蔽序列到序列预训练和基于注意力的对齐建模，表现出明显优于基线方法的歌词和旋律生成质量。

    Dec, 2020