Jan, 2020

LTP：一种基于 CRF 的命名实体识别新主动学习策略

PDF
TL;DR研究了使用 Deep Learning 解决命名实体识别任务时所需的数据注释成本高的问题，并提出了一种基于不确定性的主动学习策略，称为 LTP，它将 CRF 的输入和输出相结合，可以在减少注释负担的同时提高准确性。
named entity recognitiondeep learningactive learninguncertainty-basedbilstm-crf
发现论文，激发创造
  • 标记重加权：一种简单而有效的命名实体识别主动学习策略

    本研究提出了一种新颖的基于重新加权的主动学习策略，该策略可以为每个标记分配动态平滑的权重，以解决命名实体识别中数据不平衡和学习信号不足的挑战，并且在多个数据集上进行的实验结果表明，将此重新加权策略与已有的获取函数相结合可以显著提高性能，验证了其实际的有效性。

    Nov, 2023

  • 命名实体识别的深度主动学习

    本文介绍了一种名为 CNN-CNN-LSTM 的轻量级深度学习模型，通过增量主动学习技术，可以显著减少已标记训练样本量，达到几乎与最先进模型相媲美的性能表现。

    Jul, 2017

  • 使用深度预训练模型和贝叶斯不确定性估计进行序列标注的主动学习

    本文研究在序列标注上采用迁移学习和主动学习来减少注释预算的可行性，并通过 Bayesian 不确定性估计方法和 Monte Carlo Dropout 选项在深度预训练模型的主动学习框架中进行了广泛的实证研究，并发现了不同类型模型的最佳组合。此外，我们还展示了在主动学习期间获取实例的全尺寸 Transformer 可以被替换为简化版本，这可以提供更好的计算性能，降低了应用深度主动学习的障碍。

    Jan, 2021

  • 基于预训练语言模型的句子匹配主动学习

    本文提出了一种基于预训练语言模型的主动学习方法，应用于句子匹配，通过提供语言标准来测量实例并选择更有效的实例进行注释，实验证明该方法可以在更少的标记训练实例的情况下实现更高的准确性。

    Oct, 2020

  • 跨语言、字符级别的低资源命名实体识别的神经条件随机场

    通过字符级神经 CRF 模型进行跨多个语言的命名实体识别的迁移学习，使得在资源丰富和资源匮乏的语言中都能提高 F1 分数，并在基线上提升 9.8 个点。

    Apr, 2024

  • 大型语言模型的自动学习方法

    使用大型语言模型（GPT-3.5 和 GPT-4）进行标注，研究了主动学习中减少标注成本和采样效率的方法。采用混合注释策略，将可能标注错误的样本与人工注释相结合，可以在 AG 新闻和腐烂的番茄等数据集上取得与人工注释相似甚至更好的结果，证明了大型语言模型在主动学习中的准确性和成本效益。

    Jan, 2024

  • 高度不平衡数据下适应性命名实体识别

    本报告提出了一种基于条件随机场层和双向 LSTM 层的神经网络体系结构，其中嵌入向量（Glove，BERT）的融合输入被用来增强模型的泛化能力，还引入了一个分类模型来分离句子并对弱类和强类进行优化以提高 Named Entity Recognition 任务的性能。经实验证明，该方法显著提高了弱类的表现结果，并且只使用了非常少量的数据集。

    Mar, 2020

  • 基于不确定性的查询策略在使用 Transformers 进行主动学习中的再思考

    本文探讨了如何将基于不确定性的查询策略与 transformers 相结合以实现 active learning，通过在五个广泛使用的文本分类基准测试中与其他不确定性策略进行比较，发现一些其他不确定性策略表现更好，挑战了 prediction entropy 查询策略在文本分类的 active learning 中最受欢迎的基线模型的地位。

    Jul, 2021

  • 通过 LLM 驱动的主动学习和人工标注来增强文本分类

    该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

    Jun, 2024

  • 实体对齐的主动学习

    本文提出了一个新的实体对齐标注框架，其中包括选择信息化实例、评估不同的主动和被动学习策略等内容，并发现被动学习方法在效率和性能上与主动学习方法相当。

    Jan, 2020