Jan, 2024

使用 Bark、mBART 和经过微调的 XLSR Wav2Vec2 进行端到端印地语到英语语音转换

PDF
TL;DR该研究论文介绍了一种针对印度 - 英语翻译的端到端语音转换框架，通过集成最新的技术实现自动语音识别、神经机器翻译和文本转语音合成组件，提供了一种统一无缝的跨语言交流方法。
speech conversionhindi-to-english translationend-to-end frameworkautomatic speech recognitionneural machine translation
发现论文，激发创造
  • 使用经过微调的 XLSR Wav2Vec2 在自定义数据集和 mBART 上对视频进行转录和翻译

    通过最小的数据量，利用检索式语音转换和自监督表示的方法，对个性化语音识别模型进行训练，实现多语言视频内容转录和翻译的无障碍解决方案。

    Mar, 2024

  • 使用 Tacotron2、WaveGlow 和迁移学习的低资源端到端梵语 TTS

    本文研究使用 fine-tuning 改进了英语预训练的 Tacotron2 模型，以有限的梵语数据在资源匮乏的环境下合成自然语音，并取得了令人鼓舞的结果。

    Dec, 2022

  • 基于 Wav2Vec2 和迁移学习的孟加拉语自动语音识别系统

    本文旨在利用基于迁移学习框架的端到端语音识别技术，提高孟加拉语的语音识别性能，并在使用仅 1000 个训练样本进行训练的情况下，在测试数据集上实现了 3.819 的 Levenshtein Mean Distance 得分。

    Sep, 2022

  • VAKTA-SETU: 一种选择印度语言的语音到语音机器翻译服务

    本文介绍了面向英 - 印度语、英 - 马拉缇语和印度 - 马拉缇语语言对的部署就绪的语音 - to 语音机器翻译（SSMT）系统，该系统通过级联自动语音识别（ASR）、行话校正（DC）、机器翻译（MT）和文本 - to 语音合成（TTS）模型进行开发。

    May, 2023

  • 适用于印度语的代码转换和混合语音识别

    本研究通过比较使用多语种和单语种模型进行语音识别的表现，提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术，取得了印度诸多语言语音识别的较好效果。

    Mar, 2022

  • 使用端到端语音到意图预测改进印地语和英语电子商务客服语音机器人

    本研究提出了一种新的基于自动语音识别的端到端 S2I（语音转目的）模型，以解决语音客服系统中传统基于多组件管道的模型构建过程中所面临的挑战，实验结果表明，新模型的 F1 得分相对提高了约 27%。

    Oct, 2022

  • 文本转语音伪标签对于低资源语音识别中的强制对齐和跨语言预训练模型的有效性

    本文提出一种对 Maithili、Bhojpuri 和 Dogri 语言创建标签数据的方法，并使用伪标签训练基于 Transformer 的 wav2vec 2.0 ASR 模型。

    Mar, 2022

  • 面向下一个十亿用户构建文本转语音系统

    本研究评估了科威特琴主义和印度Ａryan 语言的声学模型、语音合成器、辅助损失函数、训练计划和说话者和语言多样性。基于此，我们确定了单语模型与 FastPitch 和 HiFi-GAN V1，联合训练男性和女性说话者表现最佳。在这个设置下，我们为 13 种语言训练和评估 TTS 模型，并发现我们的模型在所有语言中都明显优于现有模型。我们通过 Bhashini 平台开源所有模型。

    Nov, 2022

  • 基于流式端到端模型的大规模多语言语音识别

    本文介绍了一种使用条件向量和针对语言的适配器层结合的多语言端到端模型，取得了比单语言模型和传统模型都更低的语音识别误差率。

    Sep, 2019

  • 听写翻译：端到端语音转文本翻译的概念验证

    本文是第一篇尝试构建不使用源语言转录的端到端语音到文本翻译系统的论文，并提出了一种直接语音到文本翻译的模型，在一小部分法英人造语料库上取得了有希望的结果。

    Dec, 2016