ACLJun, 2022

多语言少样本转移数据选择的关键是模型中的多样化和不确定性

PDF
TL;DR本文探索了各种数据选择策略，依靠多个度量，利用了渐变嵌入和损失嵌入方法，以提高针对多语言预训练模型的 POS 标记、NER 和 NLI 任务的 Few-shot 迁移的性能。实验证明，所提出的方法始终优于随机数据选择基线，即使仅使用更少的标记数据进行零 - shot 迁移，也能显著提高性能。
few-shot transfermultilingual pretrained modelsdata selection strategiesgradient embeddingloss embedding
发现论文，激发创造
  • 从随机到有知识的数据选择：基于多样性的方法优化人工标注和少样本学习

    在自然语言处理中，获取用于监督学习的带注释数据是一个重要挑战。本文提出了一种自动和明智的数据选择架构，用于建立用于少样本学习的小型数据集，以解决众包标注的问题。

    Jan, 2024

  • 如何选择形态变化数据

    本篇论文研究了对于低资源语言的狭缺数据问题，通过使用主动学习方法，基于置信度、熵等策略选择最具信息的数据进行更准确的模型训练，实验证明这种方法可以显著提高模型性能。

    Oct, 2022

  • 细看少样本跨语种迁移：Shot 数量的选择很关键

    本研究针对少样本跨语言迁移问题进行了试验设计和成功案例分析，并提出了集成功效设计的实验方案。通过对六个不同自然语言处理任务的 40 组样本进行分析，阐明了字典特性在少样本迁移中的作用，并证明了简单的完整模型微调方法在少样本迁移中的有效性。同时，开放了部分样本，为标准化的跨语言实验设计提供了参考。

    Dec, 2020

  • 跨语言迁移的模型选择

    本论文展示了在辅助支点语言中提供少量注释数据可以更好地选择用于零 - shot 跨语言迁移的 fine-tuned models，并提出一种基于机器学习的方法用于模型选择，该方法使用 fine-tuned 模型的内部表示来预测其跨语言能力。在广泛的实验中，我们发现这种方法比使用英文验证数据一直可以跨越二十五种语言（包括八种低资源语言）选择更好的模型，并且通常可以达到使用目标语言开发数据进行模型选择的结果

    Oct, 2020

  • 通过带不确定性估计的自我学习提升跨语言迁移

    提出了一种基于自学习的框架，结合目标语言的未标记数据和不确定性评估方法，使用三种不同的不确定性评估方法对跨语种传递的具体情况进行了分析， 并在包括 40 种语言的两个跨语种任务中评估了该框架，其中包括命名实体识别和自然语言推理，并在 NER 和 NLI 方面的平均性能分别超过了 10 F1 和 2.5 准确度得分的基线模型。

    Sep, 2021

  • 基于语言模型检索的多语言少样本学习

    本文在多语言和交叉语言设置下，通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。

    Jun, 2023

  • 数据选择的熵和边缘得分指标的全面基准评估

    在工业规模的环境中，特别是在资源有限的语言中，我们通过熵和 EL2N 评分来评估潜在的训练样本的 “有用性” 或 “难度”，并展示了如何使用这些度量来选择用于训练监督机器学习模型的重要样本。我们使用这些度量从大量的 “弱信号标记” 数据中筛选高质量的数据集，然后进行以评分为基础的选择来增强训练数据实验，与随机选择的基线技术相比，结果显示了语义错误率下降 2% 和领域分类错误率下降 4%-7%。

    Nov, 2023

  • 基于 Few-Shot 的跨语言迁移方法用于混合代码临床文本的粗粒度去识别化

    本文实证展示了预训练语言模型在多语言跨领域少样本学习任务中的交叉语言迁移特性，并将其应用于解决缺乏数据和真实世界挑战的混合代码（西班牙语 - 加泰罗尼亚语）临床笔记：保护个人隐私信息的命名实体识别。

    Apr, 2022

  • 针对无监督数据选择的稳健指导：捕获领域专属机器翻译中困惑的专有名词

    在专业领域内使用多语种机器翻译模型进行句子翻译时，通过广泛的数据集进行训练往往难以准确翻译。为了得到高质量的翻译，获取和翻译专门领域的数据成本很高，因此，通过无监督的方式找到最有效的数据，以降低标注成本变得实际可行。最近的研究表明，通过基于数据量来选择 “适度困难的数据” 可以找到这些有效数据，即数据既不过于困难也不过于简单，特别是在数据量有限的情况下。然而，我们发现在选择无监督数据时建立标准仍然具有挑战性，因为 “适度困难” 可能基于训练的数据领域而有所不同。本研究提出了一种新颖的无监督数据选择方法，即 “获取令人困惑的命名实体”，该方法采用翻译后命名实体的最大推理熵作为选择度量。其动机在于，专门领域数据中的命名实体被认为是数据最复杂的部分，应该以高置信度进行预测。通过对 “专门领域韩英平行语料库” 的验证，我们的方法在无监督数据选择方面表现出稳健性，与现有方法相比具有指导意义。

    Feb, 2024

  • 多样性帮助：基于分布偏移的数据增强实现无监督少样本学习

    本文提出了一种名为 ULDA 的无监督少样本学习框架，通过数据增强中的分布偏移建立预文本少样本任务，重视分布多样性，扩展训练而实现良好的泛化性能并获得了既定少样本学习任务中的最新结果。

    Apr, 2020