Dec, 2023

评估基于自我监督的语音模型在一个台湾福建语语料库上的表现

PDF
TL;DR台語的使用和地位因台灣向普通話的語言轉變而下降。這是目前自然語言處理和語音研究中它成為低資源語言的部分原因。為了確保台語不落後於語音處理技術的最新發展，我們向 ML-SUPERB 的隱藏集合中貢獻了一個 1.5 小時的台語資料集。在我們的資料集上評估 ML-SUPERB 的自我監督學習（SSL）語音表示套件，發現模型大小並不一致地決定性能。實際上，某些較小的模型表現更好。此外，預訓練數據和目標語言之間的語言對齊起關鍵作用。
发现论文，激发创造
  • 探索日语自监督语音表征模型的语言依赖性

    本研究比较跨语言模型和单语言模型在日语自动语音识别上的表现，证明通过使用无标签日语数据，可实现与预先训练仅使用英语和 / 或多语言数据的跨语言模型相当的性能，并在多项自动语音识别任务上展示自监督学习在日语中的最新成果。

    May, 2023

  • ML-SUPERB 2.0：跨模型约束、语言和数据集进行多语言语音模型基准测试

    ML-SUPERB~2.0 是一个新的基准系统，用于评估预训练的自监督学习和监督语音模型在下游模型、微调设置和高效模型适应方法方面的性能，它发现了 ML-SUPERB 设置的性能改进，但性能取决于下游模型设计，并且在语言和数据集之间存在大的性能差异，表明需要更有针对性的方法来改进多语言 ASR 性能。

    Jun, 2024

  • 评估自监督语音表示对美国土著语言的应用

    应用自监督方法于语音表示学习的研究已引起广泛关注，然而，目前的进展主要集中在只考虑英语的单语模型上。我们在 ASRU 2023 ML-SUPERB 挑战赛的新语言轨道上提交了一份研究报告，其中介绍了一个针对 Quechua 语（一种南美洲土著语言）的 ASR 语料库。我们评估了大规模的自监督学习模型在 Quechua 语以及其他 6 种土著语言（如 Guarani 和 Bribri）的低资源 ASR 上的效果，结果显示最先进的自监督学习模型表现出了惊人的性能，展示了大规模模型在现实数据上的潜在泛化能力。

    Oct, 2023

  • 无缝语言扩展：增强自监督模型中的多语言掌握能力

    我们提出了通过将 LoRA 整合到已有的自我监督模型中，实现新语言的自适应，并通过数据结合和重新聚类等保护策略来保持对已有和新语言的性能保持完整，实验证明该方法使 mHuBERT 应用于新语言（普通话）的 MOS 值增加 1.6，WER 相对值减少了 61.72%。

    Jun, 2024

  • MiniSUPERB：自监督语音模型轻量级基准测试

    本研究提出了 MiniSUPERB，该基准可以有效评估自监督语音模型的能力，同时极大地降低了计算成本。

    May, 2023

  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

    Mar, 2022

  • 探索和标准化四种写作系统，提升福建双语翻译

    本研究旨在填补机器翻译对台湾闽南语等低资源语言的相对忽视之处，通过开发台湾闽南语与繁体中文及英文的双向翻译模型，并利用预训练的 LLaMA2-7B 模型，综合实验跨越台湾闽南语的不同书写系统以及与其他高资源语言之间的翻译任务，最终大大提升了模型的翻译能力，并通过标准化所有台湾闽南语书写系统为福建汉字，进一步提高了性能；另外，引入反向翻译和 GPT-4 结合的评估方法，确保了对低资源语言的可靠翻译质量评估；此研究有助于缩小台湾闽南语的资源差距，并从实证角度研究了基于 LLaMA 2 的预训练和微调的优势和局限性。

    Mar, 2024

  • ML-SUPERB: 多语言语音通用性能基准

    本文提出的多语种 SUPERB (ML-SUPERB) 利用冻结的自我监督学习 (SSL) 特征和简单的框架，考虑了 143 种语言（从高资源到濒危），并考虑了自动语音识别和语言识别。我们发现语音 SSL 模型与 FBANK 特征相比可以显著提高性能，但我们发现多语种模型并不总是比它们的单语种模型表现更好。我们将发布 ML-SUPERB 作为挑战，以组织数据集和可复制的训练脚本，用于未来的多语种表示研究。

    May, 2023

  • 探索基于自监督和弱监督的最新基础模型在汉英混合语音识别和语音转文字翻译的零迁移能力

    本文评估了几种基于自监督或弱监督的尖端大型基础模型（包括 SeamlessM4T、SeamlessM4T v2 和 Whisper-large-v3）在三个混合代码语料库上的表现。我们发现自监督模型可以达到接近受监督模型的性能，表明多语言自监督预训练的有效性。我们还观察到这些模型在建模句内代码切换方面仍有改进空间，常犯相似错误并在代码切换任务的性能上表现不理想。此外，我们探索了 Whisper 的几种变体的有效性，并得出结论它们在代码切换场景中仍然有效，鼓励研究类似的自监督模型技术以提升代码切换任务的性能。

    Dec, 2023

  • 台湾 LLM：用文化对齐的语言模型填补语言差距

    台灣 LLM 是第一個專門為繁體中文設計的大型語言模型，能夠理解並產生傳統中文文本，並在文化語境上與用戶群體達到共鳴。

    Nov, 2023