Oct, 2019

利用本地知识图谱构建方法将 Seq2Seq 模型扩展到多文档输入

PDF
TL;DR本文提出一种构建基于本地图形结构化知识库的方法，该方法可以压缩网络搜索信息，并减少冗余，用于 open-domain NLP 任务中，通过将图形线性化为结构化输入序列，可以实现比使用检索的文本部分更好的性能，适用于长文本输入的生成任务，例如长篇问题回答和多文档总结。
open-domain nlpsequence-to-sequence modelsgraph structured knowledge baselong-form question answeringmulti-document summarization
发现论文，激发创造
  • 大型语言模型与知识图谱相遇：回答事实性问题

    提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

    Oct, 2023

  • 知识库问答中更好的查询图选择

    该研究提出了一种基于语义分析的新方法，以提高知识库问答（KBQA）的性能。该方法侧重于如何从候选集中选择最佳查询图，以从知识库（KB）中检索答案，实验结果证明，该系统在复杂问题上取得了最佳表现，并在 WebQuestions 上取得了第二佳表现。

    Apr, 2022

  • 对话系统中基于知识图谱的自然语言生成

    使用知识图谱增强对话代理的准确性和全面性，但在对话时生成文本仍被认为是一项具有挑战性的任务，本文回顾了知识图谱文本生成的不同架构，包括图神经网络、图变换器和序列到序列模型，选择使用序列到序列变压器模型（PLMs）作为知识图谱到文本生成任务的模型，并探索未来多语言维度的研究方向。

    Jul, 2023

  • 基於知識圖譜的合成語料庫生成用於知識增強語言模型預訓練

    本文研究了将知识图谱转化为自然语言文本的任务，主要讨论了广泛的开放领域大规模语言生成的挑战，将知识图谱转化为自然语言文本，从而提高了语言模型的事实准确性和减少了毒性。通过对开放领域 QA 和 LAMA 知识探测的任务进行评估，表明该方法在文本检索方面有很大的优势。

    Oct, 2020

  • 使用图形 transformer 从知识图谱生成文本

    本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。

    Apr, 2019

  • 结构化神经网络摘要

    通过将序列编码器与图形成分扩展，我们开发了一个框架，旨在处理文本等弱结构化数据中的长距离关系，从而实现对序列的概括。在广泛的评估中，我们展示了这种混合模型的优越性。

    Nov, 2018

  • SKILL: 大语言模型结构化知识注入

    本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

    May, 2022

  • 基于查询的多文档摘要：将新颖主题模型与基于图的半监督学习相结合

    通过引入句子层级和主题层级的图半监督学习方法，以及利用句子和词之间的依赖关系构建主题模型，可以有效改善查询聚焦的多文档摘要的质量。经实验证明，该方法在 DUC 和 TAC 数据集上非常有效。

    Dec, 2012

  • 从文本生成知识图谱

    提出了一种通过对文本输入进行多阶段知识图谱生成的系统，并通过使用预训练的语言模型生成图节点，然后使用简单的边构造头部来使得从文本中提取知识图谱效率更高。该模型在 WebNLG 2020 挑战数据集，New York Times（NYT）和大规模 TekGen 数据集上表现不错，超过现有基线。

    Nov, 2022

  • 使用 Graph-to-Sequence 模型进行 SQL 到文本生成

    本文提出了一种将 SQL 查询表示为有向图的策略，并采用图到序列模型将全局结构信息编码成节点嵌入的方法，从而有效地学习 SQL 查询模式和其解释之间的相关性，实验结果表明，我们的模型在 WikiSQL 数据集和 Stackoverflow 数据集上表现显著优于 Seq2Seq 和 Tree2Seq 基线模型，达到了最先进的性能水平。

    Sep, 2018