EMNLPOct, 2019

基于特征的混淆矩阵用于低资源 NER 标记和噪声标记

PDF
TL;DR在资源匮乏的情况下，使用自动注释或远程监督数据可以改善监督标注模型的性能，但这些数据往往信息有噪声，并且噪声估计需要考虑输入特征和预初始化的混淆矩阵。我们提出将训练数据使用输入特征进行聚类，为每个簇计算不同的混淆矩阵，并在多种语言的命名实体识别场景中进行评估，显示我们的方法比其他混淆矩阵方法提高了高达 9% 的性能。
low-resource settingssupervised labeling modelsdistantly supervised datanoise estimationfeature-dependent noise modeling
发现论文，激发创造
  • 带有置信度估计的有噪标注命名实体识别

    该研究采用校准置信度估计的方式来研究深度学习在实际场景下的命名实体识别问题，提出了一种基于本地和全局独立性假设的置信得分估计策略，并结合 CRF 模型来隔离低置信度标签，同时提出了一种基于实体标签结构的置信度校准方法，最后将其集成到自我训练框架中进行性能提升，在四种语言和遥远标注场景下的实验证明了该方法的有效性。

    Apr, 2021

  • 利用特征嵌入实现对带有噪声标签的坚韧学习

    本文提出了一种基于特征嵌入的深度学习带标签噪声的方法（LEND），该方法能利用嵌入特征的内在韧性来有效减少误标签，采用深度学习进行训练并获得鲁棒性分类器。

    Jun, 2022

  • 在低资源环境下训练神经网络自动注释的嘈杂数据

    通过添加噪声层到神经网络结构中，我们可以处理噪声并联合清洁和嘈杂数据进行训练，从而提高低资源 NER 任务的性能，最多可提高 35%。

    Jul, 2018

  • 具有噪声鲁棒性和语言模型增强的远程监督命名实体识别

    本文研究如何通过使用自动化匹配原始文本中实体提及与知识库中实体类型来获得的远距离标注数据来训练命名实体识别（NER）模型，提出了一种噪声鲁棒的学习方案和自训练方法，通过预训练语言模型创建的上下文增量来改善 NER 模型的泛化能力，在三个基准数据集上，我们的方法均获得了优越的性能，显著优于现有的远程监督 NER 模型。

    Sep, 2021

  • 对抗噪声标签的稳健特征学习

    This paper proposes a method to improve the robustness of deep learning models in the presence of noisy labels by utilizing unsupervised learning and cluster regularization.

    Jul, 2023

  • 嘈杂的句子是否对远程监督关系抽取毫无用处？

    本文提出了一种利用无监督深度聚类技术解决噪声标注问题的远程监督关系抽取模型，包括句子编码器、噪声检测器和标签生成器，实验证明该模型在常用基准数据集上优于现有的同类模型，并能够应对噪声标注问题。

    Nov, 2019

  • 通过正则化评估注释者混淆来从嘈杂的标签中学习

    本文研究了如何解决多个注释器提供的有噪声的标签的问题，提出了一种同时学习个体注释器模型和真实标签分布的方法，并通过正则化项促进收敛于真实注释器混淆矩阵的方法，在图像分类任务上实验结果表明，该方法能够估计注释器的技能并表现出良好的性能。

    Feb, 2019

  • 低资源命名实体识别的远程监督和噪声标签学习：哈萨语和约鲁巴语研究

    研究对在开发中国家使用的 Hausa 和 Yoruba 两种语言开展命名实体识别，发现能够成功利用远程监督提高分类器的性能，并比较不同的嵌入方法。

    Mar, 2020

  • 面向实体中心信息抽取的噪声标签学习

    本文研究信息提取中遇到的嘈杂标签问题，提出了一个共同正则化框架来解决这个问题，该框架基于识别嘈杂标签需要更多训练步骤且更容易被忘记的性质，在 TACRED 和 CoNLL03 这两个嘈杂基准数据集上进行了广泛的实验，并发布了代码供未来研究使用。

    Apr, 2021

  • 重新思考标签价值：针对实例相关的标签噪声学习

    本文介绍了基于结构因果模型的深度生成模型算法，解决了大规模数据集中存在的标签噪声问题。该算法有效利用了噪声标签的监督信息，并在合成和实际的噪声标签数据集上表现优异。

    May, 2023