ACLMay, 2023

基于对比学习和原型学习的跨语言命名实体识别自训练改进

PDF
TL;DR本文提出了一种名为 ContProto 的跨语言命名实体识别的自我训练框架，大大提高了伪标签的准确性和不同语言间的转移能力，并在实验中展现了高于现有技术的表现。
cross-lingual named entity recognitionself-trainingpseudo-labelingcontrastive representation learningprototype-based refinement
发现论文，激发创造
  • 低资源跨语言命名实体识别的双重对比框架

    本篇论文提出了一种名为 ConCNER 的新颖双重对比框架，针对有限来源语言标注数据的跨语言命名实体识别问题，通过翻译对数据进行增广，并利用对比学习和知识蒸馏的方法，提高模型的性能。

    Apr, 2022

  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021

  • 通过有效的注释和表示投影进行弱监督的跨语言命名实体识别

    本文提出两种弱监督的跨语言实体标识方法，分别基于注释投影和词嵌入，无需使用目标语言的人工注释数据。同时，我们设计了两种协同解码方案，将两个基于投影的方法的输出相结合，评估表明这种组合性的方法优于其他三种弱监督方法。

    Jul, 2017

  • mCL-NER: 多视角对比学习的跨语言命名实体识别

    通过多视角对比学习，在跨语言命名实体识别任务中，对于语义和标记级别的表示进行对齐，扩展了不同语言之间的实体投影，同时结合自学习和标注源数据与无标注目标数据的方法，在 40 种语言的 XTREME 基准测试上实现了近 + 2.0 F1 分数的显著提高，并成为新的现有技术的顶级表现者。

    Aug, 2023

  • ConNER: 跨语言命名实体识别的一致性训练

    通过提出 ConNER 一种新型一致性训练方法，习得一个对扰动和数据具有鲁棒性的模型，该方法通过对标注和未标注数据的翻译和丢失操作的表现进行一致性训练，提高了跨语言自适应性能，并在各种基线方法上取得了一致的改进效果。

    Nov, 2022

  • ASR 的对比半监督学习

    本文提出了一种名为对比半监督学习（Contrastive Semi-supervised Learning, CSL）的方法，通过挑选正负样本来替代直接预测教师生成的伪标签，并将其应用于翻译公共社交媒体视频的挑战任务中，从而比标准的交叉熵伪标签（CE-PL）减少了 8% 的 WER。

    Mar, 2021

  • 命名实体识别任务中的少样本分类

    本论文研究使用（基于度量学习的）原型网络来进行少样本命名实体识别任务，其可以学习单词的中间表示并对其进行聚类来进行类别分类，通过将该技术与迁移学习结合使用，可以在只有很少的训练实例的情况下实现良好的分类器，进而实现零样本学习。

    Dec, 2018

  • 对比自监督学习综述

    本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

    Oct, 2020

  • 跨语言命名实体识别全局局部去噪框架的伪标签改进

    跨语言命名实体识别领域的一项研究，提出了一种全局 - 局部去噪框架（GLoDe），通过利用语义空间中的全局和局部分布信息，改善了模型的泛化能力。在两个基准数据集上的实验结果表明，GLoDe 显著优于目前最先进的方法。

    Jun, 2024

  • 小标记和大无标记集合下的神经网络抵抗（以及支持）自训练：分类

    我们提出了一种基于神经网络的半监督文本分类器，利用自训练的正负属性。为了解决自训练中的语义漂移问题，我们重新定义了伪标签的角色并构建了一个层次化的信息结构。此外，我们还提出了一种混合度量方法来代替简单的置信度测量，以克服神经网络输出的欠校准问题。我们在五个标准基准测试中评估我们的模型，并表明它明显优于十个多样化的基准模型。同时，我们展示了我们的模型对于语言模型预训练的改进具有附加性。

    Dec, 2023