Jul, 2022

多语言编码器如何学习跨语言表示？

PDF
TL;DR本文主要研究 NLP 系统中的多语言支持，其中提到 Multilingual BERT 作为一个可应用于 104 种语言的替代方案，通过分析 Multilingual BERT 的行为和跨语言传输与这些模型的优化行为，提供更好的跨语言模型和跨语言传输理解。
发现论文，激发创造
  • 评估大规模多语言神经机器翻译的跨语种有效性

    本文评估了一个大规模多语言神经机器翻译模型编码器在五个跨语言分类和序列标记任务中的跨语言效果，并展示了零 - shot 转移学习中在四个任务中的增益。

    Sep, 2019

  • 多任务双编码器模型学习跨语言句子表示

    探索了一种使用双编码器学习跨语言句子表示的自然环境，以克服多语言神经语言建模中标记化非英语数据的缺乏，并在许多单语、跨语言、零样本 / 少样本学习任务上对跨语言表示进行了全面评估，并分析了不同的跨语言嵌入空间。

    Oct, 2018

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 先对齐，再预测：理解多语言 BERT 的跨语言能力

    使用一种新的层摘除技术和模型内部表示的分析方法，我们发现多语言 BERT 可看作两个子网络的堆叠：一个多语言编码器和一个任务特定的语言无关的预测器。编码器对于跨语言传递非常关键，在微调过程中大部分不变，而任务预测对传递影响很小，可以在微调期间重新初始化。

    Jan, 2021

  • 机器翻译：跨语言预训练和跨语言迁移学习的桥梁吗？

    利用机器翻译作为持续训练目标来增强语言表示学习在跨语言学习中的作用研究发现，机器翻译无法增强多个跨语言自然语言理解任务中的跨语言表示学习，这对未来的跨语言转移研究有重要影响。

    Mar, 2024

  • 跨语言迁移学习用于多语言任务导向的对话

    本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较

    Oct, 2018

  • 多语言模型中的语言表示研究

    通过研究多语言模型的语言学表示，我们发现针对低资源语言，以某个语言家族或地理位置为重点且由这些语言使用者构建的社区中心模型在区分同一语言家族的语言方面表现更好，有助于理解多语言模型的问题并提供改进方法。

    Oct, 2023

  • 基于预训练的跨语言自然语言生成

    本文使用序列到序列模型进行自然语言生成任务，使用预训练的方法并将编码器和解码器用于单语和跨语言，实现零 - shot 跨语言转移、提高低资源语言的 NLG 性能。

    Sep, 2019

  • 多语言机器翻译解析

    本研究研究多语言机器翻译的训练，并发现多语言训练对 encoder 有益，而仅对低资源语言的 decoder 有益，提出了方法来改善性能。

    Oct, 2021

  • 关于单语表示的跨语言转移性

    新颖的跨语言转移学习方法 - 从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

    Oct, 2019