Mar, 2022

XTREME-S: 评估跨语言语音表示

PDF
TL;DR该文章介绍了新的 XTREME-S 基准测试，其涉及语音识别，分类，语音到文本翻译和检索四大任务类别。该基准测试覆盖了 10 多种语言家族的 102 种语言与 3 个不同领域和 4 个任务家族，旨在简化多语言语音表示评估，并以 XLS-R 和 mSLAM 在所有下游任务中建立了第一个仅语音和语音文本基线。同时该基准测试旨在推动对 “通用” 的语音表示学习的研究，数据集和微调脚本可在提供的网址进行访问。
xtreme-suniversal cross-lingual speech representationsbenchmarkmultilingual speech representation evaluationspeech-only
发现论文，激发创造
  • XTREME: 用于评估跨语言通用化的大规模多语言多任务基准数据集

    该论文介绍了一个名为 XTREME 的跨语言多任务基准测试，它可以在 40 种语言和 9 个任务上评估多语言表示的跨语言泛化能力，研究表明，跨语言模型在句法和句子检索任务上的性能仍有相当大的差距，该基准测试旨在促进跨语言学习方法的研究。

    Mar, 2020

  • XTREME-R: 朝着更具挑战性和细致多语言评估迈进

    本文研究运用机器学习技术进行多语言自然语言处理的现状，通过对 XTREME-R 的介绍和使用提出跨语言转移学习的方法，并提供一个交互式公共排行榜和 XTREME-R 的代码以拓展其应用领域。

    Apr, 2021

  • XTREME-UP: 面向用户的稀缺数据基准测试，用于代表性不足的语言

    该研究提出了一个针对语言严重不足的情况的基准测试 XTREME-UP 来评估语言模型对 88 种语言的能力，比传统的零样本测试更具实际价值，侧重于用户中心的任务，包括 ASR,OCR,MT 和信息访问任务，并提供多种建模场景的方法学。

    May, 2023

  • LEXTREME：法律领域的多语言和多任务基准

    使用 Transformer 架构的进步，促进了法律 NLP 领域的发展。为了评估其发展，需要有好的基准数据集。但是目前大部分基准数据集只有英文，而且其中缺少多语言数据集。为此，作者选择了 11 个涵盖 24 种语言的数据集，并创建了 LEXTREME。该工作提出了两种聚合得分，一种基于数据集，一种基于语言。最佳基线模型（XLM-R large）的数据集聚合得分和语言聚合得分均为 61.3，表明 LEXTREME 仍具有很高的挑战难度。为了方便研究人员和从业者使用，作者将 LEXTREME 公开在了 huggingface 并提供了所有用于评估模型的代码以及包括所有运行结果的 public Weights and Biases 项目。

    Jan, 2023

  • 面向成千上万种语言的鲁棒语音表征学习

    我们提出了 XEUS，一种用于普适语音的跨语言编码器，通过对来自 4057 种语言的超过 1 百万小时数据进行训练，将 SSL 模型的语言覆盖范围提高了 4 倍，并在多项基准测试中展现出优于或与最先进的 SSL 模型的可比结果。

    Jun, 2024

  • 无监督跨语言表示学习用于语音识别

    XLSR 是一种学习跨语言语音表示的模型，通过对多种语言的语音原始波形进行预训练来构建模型，上述模型建立在 wav2vec 2.0 的基础之上，可以使用单一模型完成多语言语音识别任务，并且具有更好的性能。

    Jun, 2020

  • SAMU-XLSR：语义对齐的多模态话语级跨语言语音表示

    提出了 SAMU-XLSR 模型，基于语义对齐的多模态跨语言话语级别语音表示学习框架。通过将 XLS-R 模型和 LaBSE 模型组合，SAMU-XLSR 模型可以提取高质量的多模态多语言话语语音特征，并可以实现跨语音和跨文字之间的相互转换。

    May, 2022

  • XLS-R: 在大规模自监督下进行跨语言语音表示学习

    本文介绍了 XLS-R，这是一个基于 Wav2vec 2.0 的用于跨语言语音表示学习的大规模模型，其在 128 种语言的近半百万小时的公开语音音频数据上进行训练，并取得了广泛的评估表现。我们的研究致力于提升语音处理任务在更多的世界语言上的表现。

    Nov, 2021

  • IndicXTREME：用于评估印度语言的多任务基准

    本文介绍了 IndicXTREME，一个由 9 个不同任务组成的基准测试，包括来自印度次大陆、属于 4 个不同语系的 18 种语言。我们更新和扩展了 IndicCorp，提供了 IndicBERT v2，并证明了它优于现有的多语言语言模型，如 XLM-R 和 MuRIL。

    Dec, 2022

  • 2023 ML-SUPERB 挑战赛的发现：跨更多语言和领域的预训练和评估

    2023 年多语言演讲通用性能基准（ML-SUPERB）挑战扩展了备受赞誉的 SUPERB 框架，强调自监督模型在多语音识别和语言识别中的应用。挑战包括一个研究轨道，重点是将 ML-SUPERB 应用于特定的多语言主题，一个挑战轨道，用于模型提交，以及一个新语言轨道，在这个轨道上，语言资源研究人员可以贡献和评估他们的低资源语言数据，以适应多语音识别的最新进展。研究结果表明，仅仅提高模型规模并非多语音任务的终极解决方案，多种语音 / 语调类型在多语音处理中存在重大挑战。

    Oct, 2023