语言模型中的实体跟踪
本文提出了一种能够以高效的方式对实体进行追踪的模型,它使用预训练的语言模型来表示实体,并将实体追踪集成到语言模型中,为自然语言理解和 NLP 应用带来了很大的便利。
Aug, 2022
该研究通过比较人类和大型语言模型(LLMs)之间的推理判断的共性和差异,以及对三个类别(NLI、contextual QA 和 rationales)的多个数据集进行评估,揭示了 LLMs 在复杂推理环境中的多步推理上的优势和人类在简单推理方面的优势,并引入了一种经过精细调整的 Flan-T5 模型来提高自洽性,在三个多项选择问答数据集上平均提高了 6% 的性能。
Feb, 2024
提出了一种基于 NLP 和 GPT-3 的领域不可知的自然语言交互框架,可以从自述性的日志文本中提取信息,解决了自我追踪设计空间广阔且追踪主题和数据格式多样化的挑战。研究显示,该方法明显优于基线 QA 模型,为未来 NLP 与 HCI 领域的合作提供了前景。
May, 2022
通过使用大型语言模型 (LLMs) 进行实体匹配,我们对可托管的 LLMs (如 GPT3.5 和 GPT4) 以及基于 Llama2 的开源 LLMs 进行了评估,在零 - shot 场景和有任务特定训练数据的场景中比较了不同的提示设计以及模型在零 - shot 场景中的提示敏感度。根据实验结果,我们发现 GPT4 在没有任务特定训练数据的情况下在三个基准数据集上优于精调的 PLMs (RoBERTa 和 Ditto),达到约 90% 的 F1 分数,而在上下文学习和规则生成方面,除了 GPT4 之外,所有模型都从这些技术中受益(平均 F1 分数提高了 5.9% 和 2.2%),大多数情况下 GPT4 无需额外的指导。
Oct, 2023
本文研究事件涵义的模型,通过探讨其对物理属性的理解能力来预测实体状态变化。作者发现,传统的大型语言模型无法很好地理解这方面的知识;而通过适当的提示方式,它们的性能可以得到极大的提升,尤其是对于未知的属性或数据信息不足的情况。
Nov, 2022
本研究比较了使用最新的预训练模型,如 BART 和 T5 对任务导向对话系统的端到端训练的效果和强度,实验结果表明在语言模型微调后,模型生成的响应更流畅、更准确,BART 和 T5 在 BLEU 和 F1 分数方面胜过 GPT-based models,达到了任务导向对话系统的最先进水平。
Jan, 2022
本文探讨大型语言模型在历史文本中的命名实体识别和分类任务中的应用,通过比较其与基于最先进的语言模型的系统的表现找出其存在的问题。研究结果表明,历史文本中的命名实体识别存在多个问题,包括实体注释规范的一致性、实体复杂性和代码切换等,这些问题导致大型语言模型与其他系统相比存在着一些缺点。
Mar, 2023
实体匹配是数据集成中的关键任务,本文探讨了将大型语言模型应用于实体匹配的优势、挑战和未来研究方向,同时回顾了关于弱监督和无监督方法在实体匹配中的应用以及大型语言模型如何增强这些方法。
May, 2024
该研究介绍了一种名为 MeeT 的多任务学习启发的实体跟踪方法,该方法利用一般领域任务中获得的知识来提高实体跟踪的准确性,无需设计具体的模型结构或专门的预训练,在两个常用的实体跟踪数据集上实现了最佳效果。
Oct, 2022
本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用,以可持续发展文本为案例进行了多个实验,结果表明,使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性,并探索了使用基础 LLM 模型自动创建本体论的潜力,取得更相关和准确的知识图谱。
May, 2023