Feb, 2021

使用上下文词对齐引导多语言 AMR

PDF
TL;DR本研究通过弱监督的方法将英语的 AMR 注解与其他语言进行投射，使用跨语言的 RoBERTa (XLM-R large) 来引导多语言单词嵌入的投射过程，并使用一种新的技术来实现外文文本与英语 AMR 的对齐，通过上下文的单词对齐来弱监督跨语言 AMR 标注，实现了高性能的跨语言 AMR 标注。研究结果表明，本文方法在德语、意大利语、西班牙语和中文等四种语言上的表现已经超过了先前最好的实验结果。
multilingual abstract meaning representationbootstrapping transformer-based multilingual word embeddingsforeign-text-to-english amr alignmentcontextualized xlm-r word embeddingscompetitive performance
发现论文，激发创造
  • 多语言 AMR-to - 文本生成

    本论文关注结构化数据的文本生成问题，并着眼于通过跨语言嵌入、预训练和多语言模型生成 21 种不同语言的 AMR 到文本模型。通过分析人类评估，我们发现我们的多语言模型能够准确捕捉形态和语序，并被母语人士视为流畅。

    Nov, 2020

  • 多语种上下文词表示的对齐

    提出了一种测量和加强上下文嵌入对齐的程序，证明其在分析和改进多语言 BERT 方面非常有用。在我们的对齐程序之后，BERT 在零 - shot 任务中表现显著提高。使用上下文版本的 Word Retrieval 任务，我们发现 BERT 存在系统性缺陷，在我们的对齐程序下得到了纠正。这些结果支持上下文对齐作为理解大型多语言预训练模型的一个有用概念。

    Feb, 2020

  • 多语言双向编码器的显式对齐目标

    本文提出了一种新的方法，即 AMBER（Aligned Multilingual Bidirectional EncodeR），它是一个学习对齐多语言编码器的方法，能够让预训练的跨语言编码器在不同的任务中获得更好的性能，如零 - shot 跨语言迁移学习和序列标注。

    Oct, 2020

  • 利用双语信息更好地进行跨语言 AMR 解析

    该论文介绍了一种跨语言的 AMR 解析器，该解析器通过引入双语输入和辅助任务来提高 AMR 的预测准确性，其在 Smatch F1 得分上超过了现有的最先进解析器。

    Jun, 2021

  • 利用上下文嵌入的基于转移的抽象含义表示解析

    该论文提出了一种名为 AmrBerger 的新的语义分析器，它探索了预训练上下文感知的单词嵌入在 AMR 分析中的可用性，并发现这些丰富的词汇特征与额外的概念信息的结合可以提高系统的性能。同时，通过分析，也展现了上下文嵌入的优点和局限，这为进一步深入理解提供了启示。

    Jun, 2022

  • 使用抽象意义表示对多语言句子嵌入进行改进

    本研究提出了一种新方法，使用抽象意义表示（AMR）来改善现有的多语言句子嵌入。研究表明，使用 AMR 可以提高多语言句子嵌入在语义相似性和转移任务上的性能。

    Oct, 2022

  • 双语对齐预训练用于零样本跨语言转移

    本文提出了一种利用统计对齐信息作为先验知识以指导跨语言词语预测的预训练任务 Word-Exchange Aligning Model（WEAM），并在多语种机器阅读理解任务 MLQA 和自然语言接口任务 XNLI 上进行评估，结果表明 WEAM 可以显著提高零 - shot 性能。

    Jun, 2021

  • 多语言 BERT 模型预训练后对齐

    本研究提出了一种简单的方法，作为预训练后对多语种上下文嵌入进行对齐的步骤，以提高预训练模型的零 - shot 跨语言迁移能力。该方法通过最近提出的 Translation Language Modeling 目标在词级别上对嵌入进行对齐，并通过对比学习和随机输入洗牌在句子级别上进行对齐。在下游任务的微调中，使用英语进行句子级别的代码转换。在 XNLI 上，我们的最佳模型（从 mBERT 初始化）在零 - shot 设置上比 mBERT 提高了 4.7％，在使用少于 18％的相同平行数据和 31％的模型参数的情况下，实现了与 XLM for translate-train 相当的结果。在 MLQA 上，我们的模型胜过比我们多 57％参数的 XLM-R_Base。

    Oct, 2020

  • 预训练多语言表示的语言中立性

    本文研究了多语种上下文嵌入的语言中性和词汇语义，提出了两种实现更强语言中性的方法，并展示了在不使用平行数据的情况下如何达到语言识别的最新准确率以及匹配平行句子的词对齐统计方法的性能。

    Apr, 2020

  • 跨语言抽象意义表示解析

    本文提出了一种基于注释映射的方法，通过利用一个源语言和一个源语言以及目标语言的平行语料库中的注释，针对英语作为源语言的情况，在意大利语、西班牙语、德语和中文等目标语言上训练分析器。此外，提出了一种利用英语金标注释的评估方法，这种方法不需要访问目标语言的金标注释，这是通过反转投影流程实现的。

    Apr, 2017