基于实例学习的跨度表示:以命名实体识别为例的案例研究
本研究开发了一种具有可解释推理过程的神经模型,用于依存分析,并采用基于实例的推理,其训练边缘被用于明确预测,并显著提高了每个边缘对预测的贡献,实验证明该模型具有与标准神经模型的竞争准确性和基于实例的合理解释性。
Sep, 2021
本文研究了使用 span prediction 和 sequence labeling 框架进行命名实体识别的优缺点,并提出了系统组合的方法来重新识别来自不同系统的命名实体,并在 11 个数据集上进行了 154 个系统的实验,证明了 span prediction 也可以作为基础 NER 系统和系统组合器,同时也将我们的模型部署到 ExplainaBoard 平台上。
Jun, 2021
本论文提出了一种名为 SpanKL1 的简单而有效的基于 Span 的模型,采用知识蒸馏和多标签预测技术,旨在解决命名实体识别领域中实体类型不断增加的问题,并在 OntoNotes 和 Few-NERD 等数据集上进行实验,结果表明 SpanKL 显著优于先前的方法,并显示出高实用价值。
Feb, 2023
本文通过对六种跨度表示方法和八个预训练语言模型在六个任务中的综合实证评估,发现即使有些简单跨度表示在多个任务中相对可靠,但一般来说最优跨度表示方法因任务而异,也可能因不同任务的不同方面而异。同时,我们还发现,与精细调整的编码器相比,跨度表示的选择对于预先训练的编码器具有更大的影响。
Jun, 2020
本文提出一种基于标记跨度和跨度之间关系的统一格式的思想,成功应用于语法、语义、信息内容,情感等多种自然语言处理任务,其结构化的方法能将不同任务转化为相同的格式,同时得到较高的性能表现,并提出多任务学习的优势。最后作者将各数据转换为统一格式来建立一个基准测试,提供了一个综合的测试平台,用于评估未来模型对于通用自然语言处理的表现。
Nov, 2019
通过引入基于逻辑推理的框架,创造出基于逻辑规则的非常透明的模型决策,从而提高自然语言推理模型的可解释性和鲁棒性,并在减少数据的情况下更进一步地改善了模型性能和鲁棒性。
May, 2022
我们提出了一种新的名词实体识别方法,称为基于示例的实体识别,在缺乏数据的情况下通过受到问答启发,使用少量支持示例来识别新领域中的实体范围,与当前最先进的方法相比,该方法表现出更好的性能,特别是在使用少量支持示例时。
Aug, 2020
我们提出了一种新的预训练模型,利用基于维基百科的知识图谱实现了在实体和关系上的双重表示,以及利用跨度模块进行有效编码,相较于现有模型使用更少的参数。实验结果表明,相比 RoBERTa 模型,我们模型在信息抽取任务上表现更好,尤其在监督学习任务中达到了很高的竞争水平。
Aug, 2022
该研究提出了一个基于预训练语言模型的新型 NER 框架:SpanNER,在低资源环境下的 few-shot 学习、领域转移和 zero-shot 学习设置中,可以识别从未出现的实体类,通过实验可知其相比于最佳基准线平均能提高 10%,23%和 26%。
Sep, 2021