Jun, 2024

构建端到端多语言自动歌词转录模型

PDF
TL;DR基于可用数据集，本文旨在创建一个能够进行多语言自动歌词转录的系统，并通过扩展目标词汇集合将已被证明在英语自动歌词转录中有效的技术应用于多语言场景。通过语言分析结合语言分类性能，我们的研究发现多语言模型的性能连续优于仅针对语言子集进行训练的单语言模型，并且将语言信息纳入模型中显著提高性能。
multilingual automatic lyrics transcriptionlabelled datasinging challengesmultilingual alt systemlanguage information
发现论文，激发创造
  • Jam-ALT: 一份注重格式的歌词转录基准

    为了解决自动歌词转录中忽略了格式和标点等细微差别的问题，我们引入了 Jam-ALT，这是一个新的歌词转录基准，基于 JamendoLyrics 数据集，包括修订的转录以及用于评估的指标，旨在提高转录系统的准确性和可靠性。

    Nov, 2023

  • 多语言一对多端到端语音翻译

    本文旨在通过使用多语言方法探究转移学习在以端到端神经模型进行口语翻译中的有效性，结果表明，使用目标语言嵌入语义空间可以更有效地区分不同目标语言并改进结果，其中当对相似语言进行翻译时效果更为显著，特别是数据不足的情况下。

    Oct, 2019

  • 跨越边界的歌曲：可唱和可控的神经歌词翻译

    本文将词曲翻译形式化成有约束的翻译问题，将翻译学文献的理论指导和实践技术转化为协助序列生成的神经机器翻译方法，探索更好的适应方法，并应用于英文到中文的词曲翻译系统。

    May, 2023

  • 自动歌词注释研究

    介绍自动歌词注释 (ALA) 任务，旨在通过重新表述原始文本并增加额外信息来帮助读者理解创意文本中的歧义和行话；分析翻译和检索模型在任务上的表现，并发现每个模型捕获任务重要的不同信息类型。

    Aug, 2017

  • 声调语言自动歌曲翻译

    本文提出了一种用于声调语言的自动歌曲翻译系统，解决了将单词的音高与歌曲旋律对齐并传达原意的独特挑战。该系统结合预训练和三种解码约束，成功实现了语义和歌唱性的平衡。

    Mar, 2022

  • MT3: 多任务多轨音乐转录

    本文利用序列到序列传递学习的多任务自然语言处理模型，在多个不同的乐器转录数据集上对多种音乐乐器进行了联合转录，展示了其在低资源乐器的表现结果显著，同时保持了高质量的表现结果，是多任务自动音乐转录领域的强有力基线。

    Nov, 2021

  • 歌曲中的美感翻译：联合学习调整旋律与翻译歌词

    本文提出了一种新颖的编码器 - 解码器框架 ——Lyrics-Melody Translation with Adaptive Grouping (LTAG)，通过自适应音符分组模块，可以同时翻译源歌词并确定每个解码步骤中对齐音符的数量，通过注释数据和后翻译使用大量的增广数据，实现了自动歌曲翻译的完整解决方案，并在英汉歌曲翻译数据集上进行实验，结果表明模型在自动和人类评估中均有效。

    Mar, 2023

  • 基于流式端到端模型的大规模多语言语音识别

    本文介绍了一种使用条件向量和针对语言的适配器层结合的多语言端到端模型，取得了比单语言模型和传统模型都更低的语音识别误差率。

    Sep, 2019

  • 自动音乐转录中乐器间知识的传递

    本文探讨使用软件合成音频数据训练通用模型来加快乐器自动转录模型的转移学习，结果表明使用合成数据训练模型可能是预训练通用模型的良好基础。

    Apr, 2023

  • 自动化的长尾场景建模系统

    本文介绍了一个名为 ALT 的自动化系统，旨在解决长尾场景建模的问题，此问题在各种应用中经常遇到，但一直缺乏足够的关注。系统采用多种自动机器学习相关技术，包括元学习哲学、基于预算限制的神经架构搜索方法等，同时对系统的各模块进行了优化，为其提供更高的可行性和效率。实验结果表明，系统对于预算限制下的长尾场景建模问题非常有效。

    May, 2023