ACLOct, 2022

通过多任务学习模型和提及引导解码的有效利用实体追踪

PDF
TL;DR该研究介绍了一种名为 MeeT 的多任务学习启发的实体跟踪方法，该方法利用一般领域任务中获得的知识来提高实体跟踪的准确性，无需设计具体的模型结构或专门的预训练，在两个常用的实体跟踪数据集上实现了最佳效果。
multi-task learningentity trackingprocedural textmeet approachknowledge transfer
发现论文，激发创造
  • 实体跟踪改善填空式阅读理解

    本文探索基于简单神经方法的阅读理解模型在长期语境处理和记忆显著信息方面的能力，提出了两个扩展方案：增加实体特征和使用多任务跟踪目标进行训练，并在 LAMBADA 数据集上取得了优于当前最先进方法的效果，特别是在难度较高的实体示例中。

    Oct, 2018

  • 语言模型中的实体跟踪

    本文探讨了大语言模型在跟踪实体状态和关系变化方面的能力，发现只有预训练于大量代码的 GPT-3.5 模型具有此能力，而使用预训练于文本的较小模型进行微调后也可以完成一定程度的实体追踪。但这种能力不仅取决于模型的大小，大文本库的预训练也不是必要条件。

    May, 2023

  • 将蕴涵关系应用于多跳问答任务中

    通过引入 Multee, 一种能够有效使用预训练自然语言推理模型的通用结构，本文在 MultiRC 和 OpenBookQA 这两个多阶段问题回答的数据集上进行了实验。使用 NLI 预训练模型的 Multee 模型在性能上明显优于仅在目标数据集上进行训练的 QA 模型和 OpenAI 迁移学习模型。

    Apr, 2019

  • 基于时间戳的语言模型：教授语言模型理解事件流

    使用时间戳编码的语言模型，将追踪实体的过程转化为问题回答问题的任务，取得了较好的结果。

    Apr, 2021

  • 利用 Transformer 网络有效实现实体追踪

    本研究探讨了在过程性文本中使用预训练的 transformer 网络跟踪实体的能力，发现通过调整输入结构，可以取得更好的实体跟踪结果，在配方中实现了材料检测以及在科学过程中进行了问答，达到了最先进的结果，但我们的模型仍然主要关注表面上下文线索，没有形成中间实体或进程状态的复杂表示。

    Sep, 2019

  • 一个层次化多任务方法用于从语义任务中学习嵌入

    本研究介绍了一种使用多任务学习方式训练的分层模型，在一组精心选择的语义任务上取得了最新领先的结果，包括命名实体识别、实体提及检测和关系提取，无需手工设计特征或使用外部 NLP 工具，同时在模型的底层引入归纳偏差，促使模型产生共享语义表示。

    Nov, 2018

  • 大规模知识库对话问答的多任务学习

    本论文提出了一种基于多任务学习的框架，通过引入指针设备的语义解析模型和新型类型感知实体检测模型，实现共享监督信号、减轻误差传播影响，并在大规模对话问答数据集上进行实验，将总体 F1 分数从 67％提升到 79％。

    Oct, 2019

  • 用于语义网络填充的多任务预训练语言模型

    本文研究如何提高知识图谱的完整性，通过引入 LP-BERT 模型，并结合语义匹配以及数据增强的方法，实现了知识图谱补全任务的最新成果，优于现有最佳表现。

    Jan, 2022

  • 利用预训练语言模型简化自我追踪的自然语言交互

    提出了一种基于 NLP 和 GPT-3 的领域不可知的自然语言交互框架，可以从自述性的日志文本中提取信息，解决了自我追踪设计空间广阔且追踪主题和数据格式多样化的挑战。研究显示，该方法明显优于基线 QA 模型，为未来 NLP 与 HCI 领域的合作提供了前景。

    May, 2022

  • 社交媒体数据中的命名实体识别多任务方法

    提出了一种新的多任务方法，通过使用 NE 分段及精细 NE 分类的主要任务和更一般的辅助任务，利用多任务神经网络构架来学习更高阶特征表示，以传统的 CRF 分类器和神经网络结合的方式来解决 Twitter 和分类不一致的问题。

    Jun, 2019