Nov, 2020

爪哇语、巽他语、巴厘语和巴达克语的跨语言机器语音链技术：语音识别和合成

PDF
TL;DR本研究聚焦于印度尼西亚的爪哇语、巽他语、巴厘语和巴塔克语等土著民族语言的语音识别和合成，在跨语言机器语音链框架下仅利用文本或仅利用语音数据就可以摆脱这些民族语言成对的语音文本数据。
indonesian ethnic languagesspeech-to-speech translationmachine speech chain mechanismasrtts
发现论文，激发创造
  • 面向东南亚语言的云自动语音识别系统

    介绍我们为东南亚语言开发的自动语音识别系统，以印尼语和泰语为例解释了收集语音和文本资源所需的各种策略。

    Oct, 2022

  • 面向现实无文字语言的语音翻译

    该论文以英文 - 台湾闽南语为案例，研究了语音到语音的翻译，包括数据收集、建模和基准数据集的发布。通过人工注释、数据自动挖掘以及伪标注方法，收集了大量数据。在模型训练中，结合最近的自监督离散表示的应用以及与福建话相似的普通话文本监督，取得了良好的效果。最后，该论文推出了一个 S2ST 基准数据集，以助于未来的研究。

    Nov, 2022

  • VAKTA-SETU: 一种选择印度语言的语音到语音机器翻译服务

    本文介绍了面向英 - 印度语、英 - 马拉缇语和印度 - 马拉缇语语言对的部署就绪的语音 - to 语音机器翻译（SSMT）系统，该系统通过级联自动语音识别（ASR）、行话校正（DC）、机器翻译（MT）和文本 - to 语音合成（TTS）模型进行开发。

    May, 2023

  • 多语言端到端语音翻译

    本文提出了一种简单且有效的多语言端到端语音翻译框架，并证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性以及相对于双语端到端语音翻译的优势。

    Oct, 2019

  • 使用单一端到端模型的多语言语音识别

    本文介绍了一种基于序列到序列的正常语音识别模型，它适用于 9 种不同的印度语言，并通过训练语言特定的字形集合，将这些语言联合起来训练模型以提高其性能。

    Nov, 2017

  • 多语言迁移学习改进原住民语言的神经机器翻译

    本篇研究尝试使用预训练的机器翻译模型进行从西班牙语到南美 10 种土著语言的翻译，相对于之前方法使用数据增强的手段，该方法在多种语言上取得了更好的效果。

    May, 2022

  • 适用于印度语的代码转换和混合语音识别

    本研究通过比较使用多语种和单语种模型进行语音识别的表现，提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术，取得了印度诸多语言语音识别的较好效果。

    Mar, 2022

  • 面向下一个十亿用户构建文本转语音系统

    本研究评估了科威特琴主义和印度Ａryan 语言的声学模型、语音合成器、辅助损失函数、训练计划和说话者和语言多样性。基于此，我们确定了单语模型与 FastPitch 和 HiFi-GAN V1，联合训练男性和女性说话者表现最佳。在这个设置下，我们为 13 种语言训练和评估 TTS 模型，并发现我们的模型在所有语言中都明显优于现有模型。我们通过 Bhashini 平台开源所有模型。

    Nov, 2022

  • XLS-R 深度学习模型在资源有限语言：印尼语、爪哇语和巽他语中的多语言 ASR 上应用

    该研究论文侧重于开发和评估使用 XLS-R 300m 模型的自动语音识别 (ASR) 技术。该研究旨在提高 ASR 在将口语转化为书面文本方面的性能，尤其是印度尼西亚语、爪哇语和日惹语。该论文讨论了测试程序、使用的数据集以及训练和评估 ASR 系统中采用的方法。结果显示，XLS-R 300m 模型在 Word Error Rate (WER) 方面取得了有竞争力的度量结果，但在日惹语和日惹语上性能略有一些妥协。5-gram KenLM 语言模型的整合显著降低了 WER 并提高了 ASR 的准确性。该研究通过解决语言多样性问题，提高了 ASR 技术的发展，并为不同语言的性能优化提供了见解。

    Jan, 2024

  • 基于 Wav2Vec2 和迁移学习的孟加拉语自动语音识别系统

    本文旨在利用基于迁移学习框架的端到端语音识别技术，提高孟加拉语的语音识别性能，并在使用仅 1000 个训练样本进行训练的情况下，在测试数据集上实现了 3.819 的 Levenshtein Mean Distance 得分。

    Sep, 2022