面向命名实体识别的上下文学习
本文提出了一种有效地建立识别命名实体(NER)系统的方法,基于最近的基于转换器的自我监督预训练语言模型(PLMs),并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力,通过大量实验结果表明,我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法,同时在无训练和少样例学习环境下建立了最新的业界记录。
Dec, 2020
我们提出了一个有效和创新的 ICL 框架,用于少样本嵌套命名实体识别,通过设计一种新颖的示例演示选择机制 EnDe 检索器,我们通过对比学习进行语义相似性、边界相似性和标签相似性的三类表示学习来生成高质量的演示示例,在三个嵌套 NER 和四个平面 NER 数据集上的大量实验表明我们系统的有效性。
Feb, 2024
我们提出了统一的标签感知令牌级对比学习框架,通过利用标签语义作为后缀提示来丰富上下文,同时优化上下文 - 上下文和上下文 - 标签对比学习目标,从而提高推广辨别性的上下文表示。广泛的实验表明我们的方法在各种传统测试领域和大规模少样本 NER 数据集上优于先前的最先进模型,微粒 F1 分数平均绝对增益达到 7%。进一步的分析揭示了我们模型受益于其强大的迁移能力和改进的上下文表示。
Apr, 2024
我们提出了一种上下文感知对抗攻击方法,通过扰乱识别实体最具信息量的词语来生成自然而可信的对抗样本,实验证明我们的方法在误导模型做出错误预测方面比基准方法更有效。
Sep, 2023
本文提出了一种多任务学习框架,将标签依赖关系融入基于机器阅读理解的命名实体识别,通过使用自注意力模块来捕捉标签之间的依赖关系,实现更好的性能。
Sep, 2023
本文提出了一种演示为基础的命名实体识别学习方法,研究了演示策略对模型在低资源情况下性能的影响,并在领域内学习和领域适应中证明了良好的演示可以节省很多标记示例并促进更好的性能表现。
Oct, 2021
综合研究了如何开发一种经济高效的批量提示方法来进行实体解析,通过引入批处理和选择演示来支持批量提示,并探索了不同的设计选择。通过广泛的实验证明,与基于 PLM 的方法和手动设计提示的 LLM-based 方法相比,批量提示对于实体解析非常具有成本效益。
Dec, 2023
采用 Alpaca 生成合成的上下文检索训练数据集,并使用基于 BERT 模型的神经上下文检索器,为命名实体识别找到相关的上下文,优于基准检索方法。
Oct, 2023