Aug, 2024

LAHAJA：评估印地语自动语音识别系统的多口音基准

HTML
PDF
TL;DR本研究针对印地语自动语音识别（ASR）系统在多口音下评估的不足，提出了LAHAJA基准，包含了来自132名讲者的12.5小时各种主题的印地语音频。研究发现，基于多语言和良好讲者多样性的训练模型显著优于现有模型，并指出在北东和南印度讲者的表现尤其较差，特别是在涉及命名实体和专业术语的内容中。
发现论文，激发创造
  • 梵语自动语音识别：新的语音语料库和建模见解

    本文对梵语ASR进行了首次大规模研究，研究了单元选择对梵语ASR的影响，并发布了78小时的梵语ASR数据集，研究不同声学模型和语言模型单元在ASR系统中的角色，提出了一个新的模型单元，并强调选择语文文字表示对词错误率的影响。

    Jun, 2021

  • 基于深度语音的印度英语口音端到端自动语音识别（ASR）

    本研究使用转移学习和数据增强方法，对最近的Deep Speech模型（deepspeech-0.9.3）进行 fine-tuning，以开发一个适用于印度英语口音的端到端语音识别系统，并与其他可用的印度英语口音识别服务进行了比较。

    Apr, 2022

  • 挖掘公共数据中的音频文本对以提升低资源语言的ASR系统有效性

    本文利用All India Radio文档中的文本和音频对来创建了一个名为Shrutilipi的数据集，该数据集包含来自12种印度语言的6,400小时的语音，其对应的文本总计4.95M句子。将Shrutilipi添加到训练集中可提高Wav2Vec模型、Conformer模型的准确性，且该数据集具有代表性和多样性。

    Aug, 2022

  • 印度本土语音素对L2英语发音影响的研究

    研究印度英语说话者的口音，包括其母语语音的影响，并系统性地描述了印度英语的特点，以便于在自动语音识别和语音合成系统中实现印度口音的转换和适应。

    Dec, 2022

  • Vistaar: 用于印度语音识别的多元基准和训练集

    本文提出了Vistaar，59个受试语言和领域组合的基准，用于评估和改进三个公开的ASR系统和两个商业系统，同时使用IndicWhisper通过在12种印度语言上进行微调，在Vistaar基准中明显改善了考虑到的ASR系统。

    May, 2023

  • Svarah:评估印度口音上的英语ASR系统

    本研究创建了一个Svarah基准测试数据集，其中包括来自印度65个地理位置的117位说话者的9.6小时的语音数据，用来评估ASR模型在印度口音上的表现，并发现改进的空间。

    May, 2023

  • 低资源印度语言中语音识别模型的调整

    通过利用语音和文本资源采用适应和微调技术，提高了印度语言Bengali和Bhojpuri的自动语音识别（ASR）性能，并通过多模态数据了解每种模态在构建可靠ASR方面的重要程度以及解决全球各种语言中的低资源问题的潜在解决方案。

    Jul, 2023

  • IndicVoices：为印度语言构建一个包容性的多语言语音数据集

    我们提供了INDICVOICES数据集，该数据集包含来自16237名发言人的7348小时自然和自发的语音，涵盖了145个印度地区和22种语言。通过本文，我们分享了捕捉印度文化、语言和人口多样性的旅程，为数据收集提供了标准化协议、集中工具、引人入胜的问题、提示和对话场景库，以及质量控制机制和全面的转录指南。我们希望这一开源蓝图能够成为其他多语言地区数据收集工作的全面入门指南。利用INDICVOICES，我们构建了IndicASR，这是第一个支持印度宪法第八版中列出的22种语言的ASR模型。本研究的所有数据、工具、指南、模型和其他资料都将公开提供。

    Mar, 2024

  • IndicVoices-R：解锁一个巨大的多语言多说话人语音语料库，以扩展印度文本到语音技术

    本研究解决了印度语言缺乏高质量手动字幕数据的问题，通过增强现有的大规模自动语音识别数据集，生成高质量的文本到语音（TTS）训练数据。提出的IndicVoices-R（IV-R）是来自自动语音识别数据集的最大型多语言印度TTS数据集，涵盖22种语言，并引入了IV-R基准，以评估TTS模型在印度语音上的说话人泛化能力。研究表明，使用我们的数据进行微调的模型能更好地实现零-shot说话人泛化，从而推动了印度TTS技术的发展。

    Sep, 2024

  • 我们立足何处：乌尔都语自动语音识别模型基准评估

    本研究解决了乌尔都语自动语音识别（ASR）模型性能评估的不足，提出了一种综合评估方法。研究发现，seamless-large模型在朗读语音数据集上的表现优于其他模型，而whisper-large则在会话语音数据集上表现最佳，强调了在低资源语言中开发强大的ASR系统的重要性。

    Sep, 2024