COLINGFeb, 2024

针对无监督数据选择的稳健指导：捕获领域专属机器翻译中困惑的专有名词

PDF
TL;DR在专业领域内使用多语种机器翻译模型进行句子翻译时，通过广泛的数据集进行训练往往难以准确翻译。为了得到高质量的翻译，获取和翻译专门领域的数据成本很高，因此，通过无监督的方式找到最有效的数据，以降低标注成本变得实际可行。最近的研究表明，通过基于数据量来选择 “适度困难的数据” 可以找到这些有效数据，即数据既不过于困难也不过于简单，特别是在数据量有限的情况下。然而，我们发现在选择无监督数据时建立标准仍然具有挑战性，因为 “适度困难” 可能基于训练的数据领域而有所不同。本研究提出了一种新颖的无监督数据选择方法，即 “获取令人困惑的命名实体”，该方法采用翻译后命名实体的最大推理熵作为选择度量。其动机在于，专门领域数据中的命名实体被认为是数据最复杂的部分，应该以高置信度进行预测。通过对 “专门领域韩英平行语料库” 的验证，我们的方法在无监督数据选择方面表现出稳健性，与现有方法相比具有指导意义。
发现论文，激发创造
  • 多语言少样本转移数据选择的关键是模型中的多样化和不确定性

    本文探索了各种数据选择策略，依靠多个度量，利用了渐变嵌入和损失嵌入方法，以提高针对多语言预训练模型的 POS 标记、NER 和 NLI 任务的 Few-shot 迁移的性能。实验证明，所提出的方法始终优于随机数据选择基线，即使仅使用更少的标记数据进行零 - shot 迁移，也能显著提高性能。

    Jun, 2022

  • 预训练语言模型中的无监督域聚类

    本文提出了一种基于大规模预训练语言模型的领域数据选择方法，通过度量句子的隐式相似性进行聚类，仅需要少量数据即可有效提高神经机器翻译的准确性。

    Apr, 2020

  • 神经命名实体识别数据适应技术调查

    本研究探讨利用大型单语无标注语料库和数据合成两种方法对三个不同命名实体识别任务性能的影响

    Oct, 2021

  • UniTrans: 统一模型转移和数据转移，利用未标记的数据进行跨语言命名实体识别

    本文提出了一种称为 UniTrans 的新方法，以统一模型和数据转移，通过增强的知识蒸馏从未标记的目标语言数据中利用可用信息，对比 4 种目标语言的基准数据集表明，UniTrans 显著优于现有的最先进方法。

    Jul, 2020

  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021

  • 机器翻译用于生成命名实体数据集的潜力探索：波斯语和英语之间的案例研究

    通过将机器翻译应用于英语数据集，本研究聚焦于生成波斯语命名实体数据集。通过实验评估，最高的 F1 分数是 CoNLL 2003 数据集的 85.11％。本研究的结果强调了机器翻译在为低资源语言（如波斯语）创建高质量的命名实体识别数据集方面的潜力，并提供了有关机器翻译在此任务中有效性的见解。此外，此方法可用于增强低资源语言中的数据或创建嘈杂数据以使命名实体系统更加稳健并改进它们。

    Feb, 2023

  • 语言模型数据选择调查

    该论文综述了大型语言模型、数据选择方法、经验证据、大规模数据选择研究和未来研究方向的相关领域，旨在为新老研究人员提供入门点，加速数据选择领域的进展。

    Feb, 2024

  • 非监督式识别翻译语言特征

    本研究展示了基于无监督聚类的跨领域原文本和翻译文本分类的高精度方法，并提出了一种用于跨领域数据集的简单聚类方法，以及一种确定聚类结果正确标签的方法。

    Sep, 2016

  • 通过检索非结构化知识进行自适应命名实体识别

    本文提出了一种自适应 NER 方法，利用未经充分学习的实体作为查询，从非结构化文本中检索外部知识，以提高模型的性能。通过实验验证，该模型在 CrossNER 数据集上表现优于强基准模型 2.35 个 F1 分数。

    Oct, 2022

  • AdvPicker：通过对抗鉴别器有效利用未标记数据进行跨语言实体识别

    本研究提出了一种基于对抗学习的方法（AdvPicker），用于跨语言实体识别，通过对目标语言中与源语言语义相关的数据进行选择，从而改进了神经方法在名词实体识别任务中表现不佳的问题。

    Jun, 2021