Apr, 2024

使用神经变换器扩充知识图谱层次结构

PDF
TL;DR利用大型语言模型来生成和增强知识图谱中的层次结构，对于小型领域特定的知识图谱，少量短期作用结合一次产生能够良好地运行，而较大的知识图谱可能需要周期性生成。我们提出了增强层次结构的技术，使我们的知识图谱的意图覆盖率增加了 98%，颜色覆盖率增加了 99%。
knowledge graphshierarchieslarge language modelsaugmenting hierarchiescoverage increase
发现论文，激发创造
  • 利用知识图谱增强神经机器翻译

    本文研究证明，通过在神经网络中嵌入知识图谱可以提高实体和专有名词的翻译效果，并提出了两种方法以增强神经模型的语义特征提取和对数据稀缺性和词汇表外的单词的挑战进行了探讨，结果表明，KG-NMT 模型取得了很好的效果。

    Feb, 2019

  • 基于知识图谱的神经网络在自然语言处理中的应用

    提出了一种增强学习模型的方案，即通过知识图谱的事实三元组来为自然语言处理任务提供上下文知识，并采用基于卷积的模型来减少关注空间，从而大大提高了文本分类和自然语言推理任务的性能。

    Feb, 2018

  • 对话系统中基于知识图谱的自然语言生成

    使用知识图谱增强对话代理的准确性和全面性，但在对话时生成文本仍被认为是一项具有挑战性的任务，本文回顾了知识图谱文本生成的不同架构，包括图神经网络、图变换器和序列到序列模型，选择使用序列到序列变压器模型（PLMs）作为知识图谱到文本生成任务的模型，并探索未来多语言维度的研究方向。

    Jul, 2023

  • 知识金字塔：一种用于广义知识增强和推理的新型层次化推理结构

    该论文提出了一种基于知识金字塔的推理方法，通过新的知识增强策略提高了知识图谱的泛化能力，实验结果表明，该方法在医学数据集上提高了知识推理性能和泛化能力。

    Jan, 2024

  • 使用图形 transformer 从知识图谱生成文本

    本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。

    Apr, 2019

  • 大型语言模型与知识图谱相遇：回答事实性问题

    提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

    Oct, 2023

  • 赋能小规模知识图谱：利用通用知识图谱实现丰富的嵌入策略

    通过将小规模专业领域知识图谱与已建立的通用知识图谱进行关联，我们提出了一个框架来丰富领域特定知识图谱的嵌入，以应对大规模知识密集型任务中存在的挑战。实验评估表明，通过与大规模通用知识图谱的链接，采用我们的方法可以显著提升下游任务的性能，Hit@10 指标的提升可达 44%。这一相对未经探索的研究方向可以促使知识图谱在知识密集型任务中更频繁地应用，从而得到更强大、可靠且不那么虚幻的机器学习实现。

    May, 2024

  • 知识注入的自注意力变换器

    本论文旨在提出一种有系统的方法将外部知识图谱融入 Transformer 模型中，以解决在语言模型中存在的幻觉和对人类用户生成无用和不安全输出的问题，并在 GLUE 基准测试任务上进行大量实验证明其有效性。

    Jun, 2023

  • 利用语义相似度的知识图谱编码器，用于常识问答的 ALBERT

    本研究提出使用最新的预训练语言模型 ALBERT 结合知识图谱信息提取技术，方法为模式图扩展，并分析应用于最近的预训练语言模型的知识图谱基础知识提取技术的效果，并证实模式图扩展在某种程度上是有效的。此外，我们表明在 CommonsenseQA 数据集中，我们提出的模型可以比现有的 KagNet 和 MHGRN 模型实现更好的性能。

    Nov, 2022

  • 利用知识图谱进行图像分类

    本文介绍了一种使用结构化先验知识的方法，包括知识图谱和图搜索神经网络，以在图像分类流程中有效地融入大型知识图谱，并在多标签分类方面优于标准神经网络基线。

    Dec, 2016