Mar, 2024

基于预训练大型语言模型的超关系知识图谱构建

PDF
TL;DR使用基于 OpenAI 的 GPT-3.5 模型的零样本提示方法，从文本中提取超关系知识。与基准线进行比较，取得了有希望的结果，召回率为 0.77。尽管精确性目前较低，模型输出的详细分析揭示了未来研究领域的潜在路径。
hyper-relationsknowledge graphssupervised methodszero-shot prompt-based methodgpt-3.5 model
发现论文，激发创造
  • 利用大型语言模型从知识图谱进行零样本自然语言生成

    本文使用大型语言模型进行预训练生成知识图谱到文本的零样本生成，虽然表现接近最先进水平，但不同情况下有不同结果，并发现语言模型已有的知识与输出文本的质量有显著关联。

    Jul, 2023

  • 使用预先训练的 Transformer 语言模型对远程监督关系提取进行微调

    本文介绍了利用预训练语言模型 GPT 进行远程监督关系抽取，通过 fine-tuning 在 NYT10 数据集上实现了更多种类关系的高准确率预测，AUC 分数达到了 0.422，并且在高召回率水平下表现尤为出色。

    Jun, 2019

  • 激发隐式言论关系注释

    对于 ChatGPT 而言，在隐性话语关系分类任务中，使用标准的多项选择问题提示尚不令人满意，且远远不及最先进的有监督方法。本研究通过尝试多种证实的提示技术来提高 ChatGPT 对话语关系的识别能力，但实验结果表明，即使使用复杂的提示工程，推理准确性几乎没有改变，暗示隐性话语关系分类在零样本或少样本情况下尚未得到解决。

    Feb, 2024

  • 如何释放大型语言模型在少样本关系提取上的能力？

    本文研究使用大语言模型的 few-shot 关系抽取的方法，着重考察了上下文学习和数据生成技术，并通过实验发现，与之前的提示学习方法相比，上下文学习方法可以获得与之类似的效果，而大语言模型的数据生成方法可以帮助基于先前解决方法获得一些状态 - of-art 的结果。

    May, 2023

  • 基于大型语言模型的时间知识图谱的零样本关系学习

    通过将知识图谱关系的文本描述输入到大型语言模型中，我们提出了一种新的方法以解决传统知识图谱预测中的无先验图谱上下文的零样本关系建模问题，并通过引入大型语言模型增强的关系表示，使传统模型能够识别没有观察到的关系，在预测未知关系方面取得更好的性能。

    Nov, 2023

  • 使用 ChatGPT 进行零 - shot 时序关系抽取

    本文探讨了 ChatGPT 在零 - shot 时序关系抽取中的应用能力，并且设计了三种不同的提示技术来解决该任务。实验表明 ChatGPT 的性能与监督方法有较大差距，并且在时间推理过程中可能存在不一致性和长依赖时序推理失败的问题。

    Apr, 2023

  • 再探大型语言模型作为零 - shot 关系抽取器

    本研究聚焦于使用大型语言模型作为无样本关系抽取器。通过分析现有关系抽取提示的不足之处，并引入诸如 CoT 的最新提示技术，我们提出了一种名为 SumAsk 的简单提示方法，通过使用大型语言模型将关系抽取输入转化为有效的问答格式。同时，我们在各种基准测试和设置上进行了广泛的实验，研究了大型语言模型在无样本关系抽取方面的能力，发现 SumAsk 方法在不同模型尺寸、基准测试和设置上都能显著提高大型语言模型的性能，在与无样本和完全监督方法相比具有一定竞争力甚至优越性能的同时，大型语言模型在提取重叠关系方面表现出了良好的性能，然而，不同的关系之间性能差异较大，大型语言模型相较于小型语言模型在处理挑战性的无适用项关系时表现出了有效性。

    Oct, 2023

  • 为知识图谱问答生成使用实体预训练 GPT 的 SPARQL

    我们的研究致力于通过自然语言处理工具和创意鼓励来解决大众用户查询知识图谱的问题，我们的方法是通过正确的实体链接和训练 GPT 模型从自然语言问题中创建 SPARQL 查询，我们获得了在测试中 3 次查询命中准确度为 62.703%，实体链接挑战的 F1 值为 0.809，问题回答挑战的 F1 值为 0.009。

    Feb, 2024

  • 大语言模型时代下关系抽取的再审视

    本文探讨了利用 GPT-3 和 Flan-T5 等大型语言模型来进行关系提取（RE）的问题，通过将关系线性化生成目标字符串的方法进行了序列到序列的任务处理，通过人工评估的方式，在不同程度的监督下评估了它们在标准 RE 任务中的表现，发现通过 GPT-3 进行的少量提示与现有完全监督模型大致相当，而使用 Chain-of-Thought 风格的解释进一步监督和微调后，该模型产生了最优结果。

    May, 2023

  • 基于预训练语言模型的少样本知识图谱到文本生成

    本文研究如何利用预训练语言模型生成自然语言文本，以便描述知识图谱中的事实，并提出了三项技术创新，包括：语义对齐、关系倾向知识图谱线性化和多任务学习。大量实验证明，我们的模型在 KG-to-text 生成任务中有效性较高，特别在 few-shot 设置下更是优于所有比较方法。

    Jun, 2021