Jun, 2023

LyricWhiz：通过对 ChatGPT 进行耳语的方式实现鲁棒性多语言零样本歌词转录

PDF
TL;DRLyricWhiz 是一种功能强大，多语言的自动歌词转录方法，使用 Whisper 作为 “耳朵”，GPT-4 作为 “大脑”，有效降低了词错误率并且能够跨多种语言转录歌词。
lyricwhizautomatic lyrics transcriptionwhispergpt-4multilingual
发现论文，激发创造
  • 将 Whisper 转化为实时转录系统

    Whisper-Streaming 是基于 Whisper 的实时语音转录和翻译模型实现，使用本地协议和自适应延迟策略，能够在多语言会议的实时转录服务中展示高品质和 3.3 秒延迟。

    Jul, 2023

  • 通过微调语言模型实现以旋律为条件的歌词生成，并配合 ChatGPT 进行评估

    我们利用基于字符级的语言模型来从符号化旋律生成音节级歌词，通过对一个字符级预训练模型进行微调，将语言知识整合到音节级 Transformer 生成器的束搜索中。通过基于 ChatGPT 的评估，我们展示了生成歌词时的增强一致性和正确性。

    Oct, 2023

  • 跨越边界的歌曲：可唱和可控的神经歌词翻译

    本文将词曲翻译形式化成有约束的翻译问题，将翻译学文献的理论指导和实践技术转化为协助序列生成的神经机器翻译方法，探索更好的适应方法，并应用于英文到中文的词曲翻译系统。

    May, 2023

  • 构建端到端多语言自动歌词转录模型

    基于可用数据集，本文旨在创建一个能够进行多语言自动歌词转录的系统，并通过扩展目标词汇集合将已被证明在英语自动歌词转录中有效的技术应用于多语言场景。通过语言分析结合语言分类性能，我们的研究发现多语言模型的性能连续优于仅针对语言子集进行训练的单语言模型，并且将语言信息纳入模型中显著提高性能。

    Jun, 2024

  • 低资源多语言和零样本多说者 TTS

    在这项工作中，我们将零样本语音克隆和多语言低资源语音合成的任务结合在一起。通过使用语言不可知的元学习（LAML）程序和对 TTS 编码器的修改，我们证明了一个系统可以学习在只有 5 分钟的训练数据下说一个新语言，同时保留了推断新学习语言中甚至看不到的说话者声音的能力，并提供了开源的代码和训练模型。

    Oct, 2022

  • 多任务多语言语音模型的高效压缩

    在这项研究中，我们发现了 Whisper 这个多任务和多语言语音模型在少数语言上的性能问题，并证明这是与讲话者特征及模型相关偏差有关。针对这个问题，我们提出了 DistilWhisper 方法，通过轻量级的模型微调和知识蒸馏策略，在保留了多任务和多语言预训练的鲁棒性的同时，有效地提升了目标语言的 ASR 性能。

    May, 2024

  • TRBLLmaker -- 基于 Transformer 的歌词内部关系识别器

    本文主要介绍了使用 Transformer 架构的 GPT-2 模型实现歌曲歌词含义的生成方法，并且使用了 Genious API 获取了一些包含元数据及解释说明的歌曲数据集。

    Dec, 2022

  • Whispy：将 STT Whisper 模型调整至实时环境

    Whispy 是一个能够实时处理语音流并生成高质量语音转录的系统，优化了 Whisper 预训练模型的架构，具备较低的计算成本，实验结果展示了其在鲁棒性、及时性和准确性方面的优势。

    May, 2024

  • 漫画密探：漫画自动生成转录

    以 Magi 模型解决日本漫画的视觉障碍问题，实现阅读顺序的检测和对话转录。

    Jan, 2024

  • DistilWhisper: 通过语言专家高效蒸馏多任务语音模型

    DistilWhisper 是一个轻量级模块化的 ASR 框架，通过语言专家和知识蒸馏的方式提高了 Whisper 的性能，同时保留了多任务和多语言预训练模型的鲁棒性，在目标语言中提高了 ASR 性能而仅引入了可忽略的参数开销。

    Nov, 2023