EMNLPAug, 2019

使用上下文嵌入进行对抗学习，实现零资源跨语言分类和命名实体识别

PDF
TL;DR通过对抗性学习提高多语言 BERT 的无资源跨语言性能，并通过多语言 MLDoc 文本分类和 CoNLL 2002/2003 命名实体识别任务来证明这一改进。此外，我们证明语言对抗性训练鼓励 BERT 对齐英文文档及其翻译，并解释了观察到的性能提升的原因。
contextual word embeddingsnlp tasksmultilingual bertzero-resource cross-lingual performanceadversarial learning
发现论文，激发创造
  • 通过鲁棒性训练提升零样本跨语言迁移学习

    本文提出了一种通过对抗样本和零样本跨语言转移失败案例进行联系的学习策略，采用对抗性训练和随机平滑这两种方法来训练多语言编码器更加强健的模型，实验结果表明，强健训练可以提高零样本跨语言数据分类任务中的性能，尤其在输入语句属于两种不同语言的情况下，改进更为显著。

    Apr, 2021

  • 一种简单而有效的方法来提高零样本跨语言迁移学习

    本文提出一种无监督的跨语言嵌入转换方法，其中使用 Embedding-Push、Attention-Pull 和 Robust targets 来处理语言嵌入之间的聚类差异，以提高跨语言转换的可靠性。 实验结果表明，该方法在零 - shot 跨语言文本分类任务上取得显着优于以往的工作，可以获得更好的多语言对齐。

    Oct, 2022

  • 多语种上下文词表示的对齐

    提出了一种测量和加强上下文嵌入对齐的程序，证明其在分析和改进多语言 BERT 方面非常有用。在我们的对齐程序之后，BERT 在零 - shot 任务中表现显著提高。使用上下文版本的 Word Retrieval 任务，我们发现 BERT 存在系统性缺陷，在我们的对齐程序下得到了纠正。这些结果支持上下文对齐作为理解大型多语言预训练模型的一个有用概念。

    Feb, 2020

  • 零资源跨语言命名实体识别

    本文提出一种基于词级对抗训练、参数共享和特征增强的无监督跨语言命名实体识别模型，可在不依靠双语词典或平行数据的情况下，将命名实体知识从一种语言转移到另一种语言。通过对五种不同语言的实验表明，该模型的有效性优于现有模型，并为每个语言对设置了新的 SOTA。

    Nov, 2019

  • 预训练多语言表示的语言中立性

    本文研究了多语种上下文嵌入的语言中性和词汇语义，提出了两种实现更强语言中性的方法，并展示了在不使用平行数据的情况下如何达到语言识别的最新准确率以及匹配平行句子的词对齐统计方法的性能。

    Apr, 2020

  • 跨语言调整上下文词表示对零 - shot 迁移的影响

    本研究使用已训练好的 mBERT 模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

    Apr, 2022

  • 上下文词嵌入的跨语言对齐及其在零样本依赖分析中的应用

    本文提出一种使用无监督预训练的深度上下文嵌入的多语言转移方法，可以提高零样本和少样本学习的依赖解析的效果。实验结果表明，该方法在六种测试语言中持续优于之前的最新技术。

    Feb, 2019

  • 具有最少资源的神经跨语言命名实体识别

    提出了一种基于双语单词嵌入的翻译方法，以改善跨语言的 named-entity recognition 性能，并使用 self-attention 来提高鲁棒性。在对常见语言的测试中达到了最先进或具有竞争力的 NER 性能。

    Aug, 2018

  • 关于上下文嵌入零样本跨语言评估的不使用英语开发

    本文研究了多语言语境嵌入在零样本跨语言迁移学习上的表现，并发现使用英语进行零样本设置时很难获得可重复的结果和一致的检查点，建议在零样本结果旁边提供 oracle 分数，通过避免任意差的检查点使结果更一致。

    Apr, 2020

  • Beto, Bentz, Becas：BERT 的跨语言效果之惊人

    该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用，包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现，mBERT 在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言传输的因素。

    Apr, 2019