ICLRFeb, 2024

跨语言标签投影的约束解码

PDF
TL;DR零 - shot 跨语言迁移利用多语言 LLMs 已成为一种流行的学习范式，适用于低资源语言没有标记的训练数据。然而，在涉及单词和短语细粒度预测的 NLP 任务中，零 - shot 跨语言迁移学习性能远远落后于有监督的微调方法。因此，通过使用翻译和标签映射来进一步提高性能是很常见的。本文中，我们探索了一种通过限制解码进行标签映射的新方法，克服了先前提到的问题。我们的新方法不仅能保持翻译文本的质量，还具有适用于训练和测试数据的多样性。我们在两个跨语言迁移任务上进行评估，分别是命名实体识别和事件论证抽取，涵盖了 20 种语言。结果表明，我们的方法比现有的基于标记的方法具有更好的性能，并且比依赖于外部词对齐的其他标签映射方法表现更好。
zero-shot cross-lingual transfermultilingual llmstranslationlabel projectionconstrained decoding
发现论文，激发创造
  • 跨语言转移的令人沮丧的简单标签投影

    本文分析了在 42 种语言和三个任务（问答，命名实体识别，事件抽取）上，将标注数据转换为多种语言的效果以及不同的标签投影方法，发现名为 EasyProject 的 mark-then-translate 方法在保留标签跨度边界后具有比基于单词对齐的方法更好的性能。

    Nov, 2022

  • 零资源环境中跨语言序列标注的模型和数据传递

    本文通过实验证明使用高容量多语言语言模型应用于零样本（基于模型的跨语言转移）情况下能够比基于数据转移更好地执行跨语言序列标注，这可能是由于语言使用的重要差异所致。

    Oct, 2022

  • 学习何时信任远程监督：一种用跨语言投影进行低资源词性标注的应用

    本文提出一种新的序列标注方法，使用显式的去偏置层对跨语言映射的错误进行更正，通过对一个拥有金标准标注和一个拥有投影标注的语料库进行联合学习，在仅有 1000 个金标准标注的情况下，加上更丰富的平行数据，系统在 8 个低资源设置和两个真实低资源语言，马达加斯加语和基尼阿瓦达语方面等于或超过了最先进技术水平。

    Jul, 2016

  • 跨语言转移的潜在翻译模型

    提出一种新颖的潜变量翻译分类模型，在多语言 NLU 任务中表现优异，实现了迁移学习。

    Jul, 2021

  • 跨语言伪投影期望正则化用于弱监督学习

    本文提出了基于 bitext 资源将多语种低监督学习领域的已标注语料库知识转移的一种新方法，该方法使用推断的模型期望而不是标签来指导学习。在标注数据不足的情况下，评估结果表明，在标准的中英和德英 NER 数据集上，我们的方法表现出 64％和 60％的 F1 得分。与监督 CRFs 相比，实现相同准确性需要 12k 和 1.5k 标记句子。此外，当与标记示例结合使用时，我们的方法在中文 OntoNotes 和德语 CoNLL-03 数据集上获得了迄今为止报告的最佳结果。

    Oct, 2013

  • 使用后期解码技术实现跨语言依存解析在真正低资源语言中的应用

    本研究提出了一种基于图形的端到端神经网络依赖解析器，这种解析器可以训练为复制边缘得分矩阵，从而可以直接在单词对齐上进行投影，并取得了相较于之前的最新技术，在 10 种语言上的 2.25% 的绝对改善。

    Jan, 2017

  • 跨语言命名实体识别中的实体投影机器翻译

    利用机器翻译提升跨语言命名实体识别中的注释映射技术并得到优越的实验结果。

    Aug, 2019

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • T-Projection：用于序列标注任务的高质量注释投射

    本文提出了一种新的基于预训练文本到文本语言模型和最先进的机器翻译技术的注释投影方法［T-Projection］，通过将标签投影任务分解成候选集生成步骤和候选集选择步骤来自动产生标注数据，得到的结果在三个下游任务和五种不同语言中的平均 F1 分数比以前的方法提高了 8 个百分点以上。

    Dec, 2022

  • CROP：多语言标注序列翻译实现的零样本跨语言命名实体识别

    提出了一种跨语言冷启动实体识别框架 (CROP)，通过多语言标记序列翻译模型，将目标序列首先翻译为源语言并由源 NER 模型标记，然后采用标记的序列翻译模型将标记的序列投射回目标语言并标记原始句子，最终实现了端到端模型。在两个数据集上进行的实验结果表明，该方法大大优于先前的强基线方法，并实现了最先进的性能。

    Oct, 2022