May, 2023

知识图谱引导的语言模型语义评估用于用户信任

PDF
TL;DR本研究通过建立图格式的知识图谱，对自注意力转换器编码的语义进行了评估，发现语言模型不会赋予学习到的随机模式以物体和概念级别的含义和语义，同时构建了一个 GLUE 基准的增强语言理解基准，以使语言模型的概念理解得到健壮的评估。
发现论文，激发创造
  • 重新思考语言模型作为符号知识图谱

    基于符号的知识图谱、语言模型和评估指标对知识图谱的拓扑属性和语义属性进行了详尽的评估，发现语言模型在提取符号知识方面能力受到限制。

    Aug, 2023

  • 语言模型能否捕获图形语义？从图形到语言模型和相反

    本文研究分析了如何使用深度学习模型压缩知识图谱，并在大部分语义保持不变的情况下将其解压回原始状态。但是本文发现，Transformer 模型无法完全表达输入的知识图谱，这是因为知识图谱中的定向关系和类型信息与 Transformer 的注意力矩阵的全连接结构存在差异导致的。

    Jun, 2022

  • 知识注入的自注意力变换器

    本论文旨在提出一种有系统的方法将外部知识图谱融入 Transformer 模型中，以解决在语言模型中存在的幻觉和对人类用户生成无用和不安全输出的问题，并在 GLUE 基准测试任务上进行大量实验证明其有效性。

    Jun, 2023

  • 评估大型语言模型用于知识图谱上的语义解析对话问答

    评估了没有在此任务上进行明确预训练的大型语言模型的性能，并通过一系列实验在广泛的基准数据集上比较了具有不同提示技术和不同大小的模型，并确定了生成输出中的常见问题类型。结果表明，大型语言模型能够从对话中生成图查询，并通过少样本提示和微调技术实现显著提升，特别是对于展现较低零样本性能的较小模型。

    Jan, 2024

  • 基于语义结构的知识图谱问答查询图预测

    本研究主要关注于如何从自然语言问题中构建查询图谱，提出了一种基于语义结构的 BERT 模型进行分析和预测，通过过滤噪声查询图，提高了问题解答的准确性。实验结果表明该方法比现有技术有更好的效果。

    Apr, 2022

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • 图形语言模型

    图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

    Jan, 2024

  • 知识图谱通识自监督的实证研究

    本文旨在研究知识抽取技术对于不同规模和架构的语言模型训练的影响以及如何在各种下游 NLP 任务中进行有效的迁移学习。研究发现，在预训练中选取适当的知识可以显著提高语言模型的泛化性能，数据量越大效果越好，而平衡不同方面的抽样策略可以提高编码解码模型的性能。

    May, 2022

  • 灵活结构化的知识驱动问答

    本文提出了一种使用语言模型结合知识进行基于知识的问答的方法，其中包括知识构建方法和深度融合机制，可以优雅地提取结构数据和提高模型性能。

    Sep, 2022

  • KGLM: 将知识图谱结构整合到语言模型中进行链接预测

    提出了一种名为 KGLM 的知识图谱语言模型结构，该结构通过引入新的实体 / 关系嵌入层来学习区分不同的实体和关系类型，从而允许模型学习知识图谱的结构，并通过对知识图谱中提取的三元组进行附加培训，跟随标准的微调阶段，取得了基准数据集上的链接预测任务的最新性能。

    Nov, 2022