ACLMay, 2016

多语言神经语言模型：跨语言音标表示学习案例研究

PDF
TL;DR通过应用多语言情境下的共用符号表示和语言的语言信息来训练递归神经网络模型，我们介绍了多语言模型的思想，以解决建模音序列的问题，该问题中具有普遍符号发明和跨语言共享特征表示。实验结果表明，多语言模型比单语言模型具有更好的泛化性能和更高质量的语音特征表示。
polyglot language modelsrecurrent neural networkphonetic featuresmultilingualismlinguistics
发现论文，激发创造
  • 多语言异音字系统的通用手机识别

    本研究中，通过建立联合模型来处理语言独立性的音位和语言相关性的音素的分布，改进了语音识别性能，同时可以建立一种 (几乎) 通用的音位识别器，当与 PHOIBLE 大型手动编辑的音位库相结合时，可定制为 2,000 个语言相关的识别器，此识别器可在低资源状况下实现语音识别。

    Feb, 2020

  • 统一与征服：语音特征表示如何影响多语种语音合成 (TTS)

    本研究比较了使用单一表示和分离表示的多语言神经文本语音合成系统，发现单一表示方法比分离表示在自然度和语音口音的交叉语言综合中表现一致更好。同时，单一表示方法具有更少的语音标记，从而提高了模型性能。

    Jul, 2022

  • 用音韵表示减轻在强健多语言语言理解中的语言差异

    多语言理解的改进方法通常在训练阶段需要多种语言，依赖复杂的训练技术，同时也在高资源语言和低资源语言之间存在重大的性能差距。我们假设语言之间的性能差距受到这些语言之间的语言差距的影响，并通过使用声素表示（具体而言，使用声素作为输入标记到语言模型，而不是次词）来提供强大的多语种语言建模的新解决方案。我们通过三个跨语言任务的定量证据以及对跨语言性能差距的理论分析进一步证明了声素表示的有效性。

    Feb, 2024

  • 适用于低资源语音识别的语言通用语音编码器

    使用国际音标为基础的语言通用的语音模型在多语言音频识别中表现出良好效果，且通过自适应方法在极低资源语言的情况下改进了识别性能。

    May, 2023

  • 多语音预训练中的语言通用语音表示法用于小资源语音识别

    本文提出一种结合多语言训练和自监督学习的方法来提高低资源 ASR 性能，其中采用国际音标（IPA）多语言模型为无标签语音创建帧级伪标签，并以这些伪标签以 Phonetically-informed 的方式引导基于 HuBERT 的语音预训练。实验证明，该方法在所有目标语言上均优于标准 HuBERT，并且在 3 种语言中表现更佳，同时最多能够节省 1.5k 小时（75%）有监督训练数据。

    May, 2023

  • 基于多语言上下文的语音合成中文字发学习

    该研究提出了一个多语种统一的前端系统，通过建模语音信息和语言知识，在处理发音相关任务时取得了有竞争力的结果。

    Jul, 2023

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 多语境语境表示改善跨语言转移

    通过使用 Rosita 方法，我们训练了一个单一的语言模型，从多种语言的文本中产生了多语种上下文词表示。我们应用这种方法于英语 / 阿拉伯语和英语 / 汉语等不同语言对的建模，并应用于依存句法分析、语义角色标记和命名实体识别，与单语言和非上下文变体进行了比较。我们的结果进一步证明了使用多种语言共享表示的多语种学习的好处。

    Feb, 2019

  • 使用音素表示进行低资源语言的零射击跨语言命名实体识别

    提出一种基于国际音标的音素表示的零样本跨语言命名实体识别方法，可有效提高低资源语言的性能，并在非拉丁文脚本上表现出很强的鲁棒性。

    Jun, 2024

  • 简单而有效的零样本跨语言音素识别

    本文通过使用发音特征将多种训练语言的音素映射到目标语言中，对多语言预训练的 wav2vec 2.0 模型进行微调，以在没有标记数据的情况下提高其对未见过的语言的识别能力，并在实验中取得了较优效果。

    Sep, 2021