ACLApr, 2022

利用多任务问答在语言模型中灌输类型知识

PDF
TL;DR该研究论文介绍了一种利用基于类型的问题通过文本预训练在语言模型中灌输细粒度类型知识的方法，并利用知识库文档和知识图谱创建 WikiWiki 数据集来评估性能。该方法在零 - shot 对话状态跟踪基准测试中取得了最先进的表现，可以准确地推断维基百科文章中的实体类型，并能够发现人工评判认为有用的新类型。
entity typeslanguage modelstext-to-text pre-trainingknowledge base documentswikidata
发现论文，激发创造
  • 答案候选类型选择：封闭式问答文本到文本语言模型遇到知识图谱

    在这篇论文中，我们介绍了一种在预训练的 Text-to-Text QA 系统基础上解决问题的简单而有效的方法，通过基于 Wikidata 的 instance_of 属性对生成的候选答案进行过滤和重新排序，从而解决了模型能力有限且对于不太受欢迎实体的质量降低的问题。

    Oct, 2023

  • 从文本中学习跨语境实体表示

    通过填充空白的任务来学习来自文本上下文中提及的实体的上下文无关表示，结果展示了 Neural 模型的大规模训练可以学习到高质量的实体表示，并在四个领域展示了成功的结果。

    Jan, 2020

  • 知识图谱中基于上下文的实体类型识别

    本研究提出了一种利用上下文信息进行知识图谱实体类型推理的新方法，设计了两种推理机制：N2T 和 Agg2T，并提出了一种新的损失函数以减轻训练期间的误测问题。实验证明了该方法的有效性。

    Sep, 2021

  • SKILL: 大语言模型结构化知识注入

    本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

    May, 2022

  • QA 是新的 KR：将问题 - 答案对作为知识库

    本文提出了一种新的基于问题生成和实体链接的知识库生成方法，该知识库由小的模块化组件组成，支持关系查询和多跳推理，与用户信息需求相匹配。

    Jul, 2022

  • TypeSQL: 基于知识的类型感知神经网络文本到 SQL 生成

    本文提出了一种新方法 TypeSQL，通过将问题转换为插槽填充任务，并利用类型信息来更好地理解自然语言问题中的稀有实体和数字，从而实现了通过自然语言与关系型数据库进行交互。在 WikiSQL 数据集上测试该方法，比现有技术提高了 5.5％的性能。同时，利用数据库内容进行访问可以显著提高用户查询的性能，TypeSQL 的准确度为 82.6％，相对于之前的内容敏感模型提高了 17.5％。

    Apr, 2018

  • 大型语言模型与知识图谱相遇：回答事实性问题

    提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

    Oct, 2023

  • 基於知識圖譜的合成語料庫生成用於知識增強語言模型預訓練

    本文研究了将知识图谱转化为自然语言文本的任务，主要讨论了广泛的开放领域大规模语言生成的挑战，将知识图谱转化为自然语言文本，从而提高了语言模型的事实准确性和减少了毒性。通过对开放领域 QA 和 LAMA 知识探测的任务进行评估，表明该方法在文本检索方面有很大的优势。

    Oct, 2020

  • 基于知识库的知识增强、类型约束和语法引导的问题生成

    本研究旨在解决在知识图谱子图上生成自然语言问题时，信息量不足和语义漂移的问题，提出了一种名为 KTG 的知识增强的、类型约束和语法引导的 KBQG 模型，并设计了一种奖励函数来提高生成的丰富性和句法正确性，实验证明该模型在两个广泛使用的基准数据集 SimpleQuestion 和 PathQuestion 上优于现有方法。

    Oct, 2020

  • 向实体引导的文本生成中注入实体类型

    本文旨在在解码阶段对实体类型进行建模，以生成准确的上下文词汇，实验表明注入类型在实体提及生成过程中的表现优于现有的类型嵌入拼接基线。

    Sep, 2020