本文通过对六种跨度表示方法和八个预训练语言模型在六个任务中的综合实证评估，发现即使有些简单跨度表示在多个任务中相对可靠，但一般来说最优跨度表示方法因任务而异，也可能因不同任务的不同方面而异。同时，我们还发现，与精细调整的编码器相比，跨度表示的选择对于预先训练的编码器具有更大的影响。

Jun, 2020

本研究提出了一种新的模型来加强文本表达，进而实现信息提取中的 span extraction 任务，并在三个任务，flat NER、nested NER、event detection 中达到了最佳表现，显著减少了训练和推理时间。

Nov, 2021

该论文旨在研究和探索使用任务和语言之间的相关性来构建需要较少手动注释数据的自然语言处理模型，通过研究 60 种语言的多种 NLP 任务，该论文表明了联合多任务和多语言建模的潜力，并暗示从这些模型中可以获得语言学洞见。

Sep, 2018

通过 SpanEx 数据集和社区检测方法，研究了自然语言理解中的跨度推理，包括事实核查和机器阅读理解，并与人类推理过程进行了比较。

Oct, 2023

本研究提出了一种基于语法的结构化跨度选择模型，旨在改进自然语言处理中的跨度选择问题，经测试该模型在两种跨度预测任务中均有显著提升。

May, 2022

本文主要研究了最新的自然语言处理技术中，神经网络和语言模型在命名实体识别和关系抽取方面的应用以及它们在训练过程中面临的一些挑战。我们发现，预训练的语言模型对发现未曾见过的命名实体表现良好，但对于未曾见过的关系则有待加强，因此模型的理解能力仍存在提升空间。

Jun, 2022

训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

Jan, 2018

通过实证分析命名实体识别，我们展示了一种能够在不牺牲性能的前提下开发具有高可解释性的模型，其具有可解释的推理过程并学习了跨度之间的相似性的基于实例的学习方法。

Apr, 2020

提出了一种新的框架，称为 TANL，可用于各种结构预测语言任务，包括实体关系提取，嵌套命名实体识别，关系分类，语义角色标注，事件提取，共指消解和对话状态跟踪。使用相同的架构和超参数解决所有任务，甚至可以训练一个模型来同时解决所有任务（多任务学习），该方法在各项任务上可与或优于特定任务的模型，并在一些任务上实现了最新的最好结果。同时还表明，由于更好地利用标签语义，该框架还可以显着提高低资源制约下的性能。

Jan, 2021

介绍了一个通用的框架，用于多个信息提取任务，共享动态构建的跨度图表示，该图由选择最可靠的实体跨度所构成，并使用置信度加权关系类型和共参考建立节点，从而实现共参考和关系类型置信度通过图传播迭代地细化跨度表示，与以前的多任务信息提取框架不同，我们的框架显著优于多个数据集上的多个信息提取任务的最新水平，涵盖了不同的领域。另外，我们观察到跨度枚举方法在检测嵌套跨距实体方面表现出色，在 ACE 数据集上 F1 分数显著提高。

Apr, 2019