EMNLPSep, 2019

利用 Transformer 网络有效实现实体追踪

PDF
TL;DR本研究探讨了在过程性文本中使用预训练的 transformer 网络跟踪实体的能力，发现通过调整输入结构，可以取得更好的实体跟踪结果，在配方中实现了材料检测以及在科学过程中进行了问答，达到了最先进的结果，但我们的模型仍然主要关注表面上下文线索，没有形成中间实体或进程状态的复杂表示。
entity trackingpre-trained transformersprocedural textingredient detectionscientific processes
发现论文，激发创造
  • TrackGPT -- 用于跨领域实体轨迹预测的生成式预训练转换器

    TrackGPT 是一种基于 GPT 的模型，可用于实体轨迹预测，并在测距和空间两个领域表现出强大的性能，同时保持领域无关性和最小化数据特征要求。

    Jan, 2024

  • 关注实体以获得更好的文本理解

    在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

    Nov, 2019

  • 基于顺序的程序化文本理解的预训练策略

    我们提出了一种基于序列的预训练方法，以加强自然语言处理中的程序理解。我们的工作是首次比较了几种 “以顺序为监督” 的 Transformer 预训练方法，并显示这些方法在两个下游实体跟踪数据集（食谱领域的 NPN-Cooking 数据集和开放领域的 ProPara 数据集）上相对于基准模型和最新方法有了改进的结果。我们的方法解决了需要预测过程步骤中实体状态的非平凡的实体跟踪任务，这需要理解步骤的顺序。这些方法在 NPN-Cooking 和 ProPara 数据集上相对于最佳基准模型分别在度量指标上提高了 1.6％和 7-9％。

    Apr, 2024

  • 面向实体搜索的实体感知 Transformer

    本篇文章研究使用知识图谱中的实体信息是否有助于基于 BERT 的实体检索模型，结果表明使用实体信息的 BERT 模型在复杂自然语言查询和属性筛选等实体相关查询任务中相比传统 BERT 模型具有更好的推荐效果，并且使用该模型可以在数据不足的情况下进行微调以实现对实体搜索的数据有效训练。

    May, 2022

  • 语言模型中的实体跟踪

    本文探讨了大语言模型在跟踪实体状态和关系变化方面的能力，发现只有预训练于大量代码的 GPT-3.5 模型具有此能力，而使用预训练于文本的较小模型进行微调后也可以完成一定程度的实体追踪。但这种能力不仅取决于模型的大小，大文本库的预训练也不是必要条件。

    May, 2023

  • LUKE: 深度上下文化实体表示与实体感知自注意力

    本文提出了一种基于双向 transformer 的新预训练上下文表示方法来处理实体，通过在维基百科中的大型实体注释语料库上预测随机屏蔽的单词和实体，训练了一个新的与实体相关的自注意机制，实现了在实体相关任务中的良好表现。

    Oct, 2020

  • 高效易解释的实体追踪神经模型

    本文提出了一种能够以高效的方式对实体进行追踪的模型，它使用预训练的语言模型来表示实体，并将实体追踪集成到语言模型中，为自然语言理解和 NLP 应用带来了很大的便利。

    Aug, 2022

  • 规模化生成预训练：基于 Transformer 的交易行为编码用于欺诈检测

    介绍了一种创新的自回归模型，利用了 Generative Pretrained Transformer (GPT) 架构，专为支付系统中的欺诈检测而设计。我们的方法创新性地解决了令牌爆炸问题，并通过时间和上下文分析重构行为序列，提供了对交易行为的细致理解。利用无监督预训练，我们的模型在特征表示方面表现突出，无需有标签的数据。此外，我们整合了一种差分卷积方法来增强异常检测，提高了中国最大在线支付商的安全性和效果。我们模型的可扩展性和适应性在各种交易背景下有着广泛的适用性。

    Dec, 2023

  • 通过多任务学习模型和提及引导解码的有效利用实体追踪

    该研究介绍了一种名为 MeeT 的多任务学习启发的实体跟踪方法，该方法利用一般领域任务中获得的知识来提高实体跟踪的准确性，无需设计具体的模型结构或专门的预训练，在两个常用的实体跟踪数据集上实现了最佳效果。

    Oct, 2022

  • 具有关系关注和类型关注的多任务 Transformer 用于命名实体识别

    本文提出一种多任务 Transformer 模型，该模型将实体边界检测任务整合到命名实体识别任务中，通过关系分类来实现实体边界检测，并采用外部知识库和自注意力及交叉注意力机制来提高解码时实体类型映射的准确性。在多个实验数据集上的实验结果表明，该方法显著提高了生成型 NER 模型的性能。

    Mar, 2023