COLINGApr, 2024

融合词汇和句法知识的无监督跨语言迁移

PDF
TL;DR本文提出了一种名为 “Lexicon-Syntax 增强多语言 BERT” 的新框架，该框架结合了词汇和句法知识，并通过多种技术增强其学习能力，在零样本跨语言传递的任务中取得了优异的成绩。
cross-lingual transferlexiconsyntaxcode-switchinggraph attention network
发现论文，激发创造
  • Syntax-augmented Multilingual BERT 跨语言转移

    本研究表明，通过在辅助目标中提供语言语法和训练 mBERT 以对通用依赖树结构进行编码，可提高跨语言转移，从而提高了在四项 NLP 任务中的性能表现。

    Jun, 2021

  • 多语言递归神经网络中的跨语言句法转移理解

    研究了现代神经语言模型的多语言训练中的字面表示空间和纯语法知识的共享，发现暴露我们的 LMs 与相关语言并不总是增加目标语言的语法知识，并且在语义转移的最佳条件下并不一定是语法转移的最佳条件。

    Mar, 2020

  • 通过可逆投影的无监督适应实现跨语言句法转移

    本文提出了一种生成模型，通过结构化的正则先验利用标记源数据和未标记目标数据联合学习源模型和目标模型的参数来解决在距离较远的语言之间跨语言迁移的问题，并使用可逆投影来学习一种新的公共嵌入空间，以对不完美的跨语言词嵌入输入进行补偿。该方法在使用英语作为唯一源语料库并传输到广泛的目标语言的通用依赖树库上进行评估，在与英语相距较远的该数据集中的 10 种语言中，我们的方法相较于使用最先进的判别模型的直接转移方法，在词性标注和依赖分析方面分别获得了平均 5.2％和 8.3％的绝对改善。

    Jun, 2019

  • 针对无监督神经机器翻译，提升预训练语言模型的词汇能力

    本文介绍了一种基于子词嵌入的双语掩码语言模型预训练方法，应用于无监督神经机器翻译和双语词汇归纳任务中均取得了较好的性能表现。

    Mar, 2021

  • 无监督机器翻译实现双语词库归纳

    本文提出一种新的方法，使用无监督机器翻译的方法生成合成平行语料库，进而提取双语词汇表。该方法可与任何词向量和跨语言映射技术一起使用，并且除了用于训练词向量的单语语料库外，不需要任何其他资源。在评估方面，与最近邻和 CSLS 技术相比，该方法在标准 MUSE 数据集上提高了 6 个准确度点，确立了新的最先进技术。

    Jul, 2019

  • 多语言 BERT 中的跨语言句法差异：好不好及其对迁移的影响？

    该论文研究了多语言 BERT（mBERT）对 24 种不同语言的语法关系的分布，发现该分布与语言形式差异高度一致，提示 mBERT 以与语言多样性一致的方式正确编码语言，并揭示了跨语言传输机制的内在机理。

    Dec, 2022

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • 无平行语料的零样本跨语言迁移

    通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

    Oct, 2023

  • 在多语言 BERT 中发现通用语法关系

    本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。

    May, 2020