Feb, 2024

用音韵表示减轻在强健多语言语言理解中的语言差异

PDF
TL;DR多语言理解的改进方法通常在训练阶段需要多种语言，依赖复杂的训练技术，同时也在高资源语言和低资源语言之间存在重大的性能差距。我们假设语言之间的性能差距受到这些语言之间的语言差距的影响，并通过使用声素表示（具体而言，使用声素作为输入标记到语言模型，而不是次词）来提供强大的多语种语言建模的新解决方案。我们通过三个跨语言任务的定量证据以及对跨语言性能差距的理论分析进一步证明了声素表示的有效性。
multilingual language understandingtraining techniquesperformance gapsphonemic representationscross-lingual tasks
发现论文，激发创造
  • 使用音素表示进行低资源语言的零射击跨语言命名实体识别

    提出一种基于国际音标的音素表示的零样本跨语言命名实体识别方法，可有效提高低资源语言的性能，并在非拉丁文脚本上表现出很强的鲁棒性。

    Jun, 2024

  • 多语音预训练中的语言通用语音表示法用于小资源语音识别

    本文提出一种结合多语言训练和自监督学习的方法来提高低资源 ASR 性能，其中采用国际音标（IPA）多语言模型为无标签语音创建帧级伪标签，并以这些伪标签以 Phonetically-informed 的方式引导基于 HuBERT 的语音预训练。实验证明，该方法在所有目标语言上均优于标准 HuBERT，并且在 3 种语言中表现更佳，同时最多能够节省 1.5k 小时（75%）有监督训练数据。

    May, 2023

  • 利用形态和音位子单元表示将词嵌入适应新语言

    使用语言学驱动的子词单元：音素、词素和字形，提高低资源语言下的自然语言处理、实体名称识别和机器翻译表现。

    Aug, 2018

  • 多语言神经语言模型：跨语言音标表示学习案例研究

    通过应用多语言情境下的共用符号表示和语言的语言信息来训练递归神经网络模型，我们介绍了多语言模型的思想，以解决建模音序列的问题，该问题中具有普遍符号发明和跨语言共享特征表示。实验结果表明，多语言模型比单语言模型具有更好的泛化性能和更高质量的语音特征表示。

    May, 2016

  • 适用于低资源语音识别的语言通用语音编码器

    使用国际音标为基础的语言通用的语音模型在多语言音频识别中表现出良好效果，且通过自适应方法在极低资源语言的情况下改进了识别性能。

    May, 2023

  • 多语言模型中的语言表示研究

    通过研究多语言模型的语言学表示，我们发现针对低资源语言，以某个语言家族或地理位置为重点且由这些语言使用者构建的社区中心模型在区分同一语言家族的语言方面表现更好，有助于理解多语言模型的问题并提供改进方法。

    Oct, 2023

  • 统一与征服：语音特征表示如何影响多语种语音合成 (TTS)

    本研究比较了使用单一表示和分离表示的多语言神经文本语音合成系统，发现单一表示方法比分离表示在自然度和语音口音的交叉语言综合中表现一致更好。同时，单一表示方法具有更少的语音标记，从而提高了模型性能。

    Jul, 2022

  • 汉语方言语音学的多方言表示学习

    本文提供了一种从结构化音韵数据构建知识图谱，并应用于知识库学习中的 BoxE 技术，以获取汉语方言多音节表示的方法。

    Jun, 2023

  • 多语言文本表示

    现代自然语言处理的突破包括能够在 100 多种语言中执行任务的大型多语种模型。最先进的语言模型从简单的独热编码词表示开始，能够执行自然语言理解、常识推理或问答等任务，从而捕捉文本的语法和语义。同时，语言模型正在超越我们所知的语言界限，甚至在资源非常有限的濒危语言的方言中获得有竞争力的表现。然而，仍然存在一些问题，需要解决，以确保通过统一的建模空间在语言和说话者之间获得公正的文本表示。在本调研中，我们阐述了多语种文本表示的迭代进展，并讨论了最终导致当前最先进技术的推动因素。随后，我们讨论了如何实现语言民主化的全部潜力，突破所知的限制，并探讨在该领域的改进范围。

    Sep, 2023

  • 神经机器翻译中适用于形态丰富语言的词表示模型

    本文提出了使用字符和形态级别单词分解学习单词表示的若干结构，并将这些表示法纳入一种新颖的机器翻译模型中，通过一个硬注意力机制联合学习单词对齐和翻译，从而提高 morphologically rich languages 翻译成英语的机器翻译的性能，相对强基线模型提高了 1 到 1.5 个 BLEU 分数。

    Jun, 2016