Aug, 2016

神经知识语言模型

PDF
TL;DR该研究提出了一种神经知识语言模型 (NKLM)，将知识图提供的符号化知识与 RNN 语言模型相结合，通过预测所生成的单词是否具有潜在事实，从预测事实的描述中复制生成这些与知识相关的单词。实验结果表明，NKLM 显著提高了性能的同时，生成了更少的未知词。
neural knowledge language modelsymbolic knowledgernn language modelfactual knowledgeknowledge graph
发现论文，激发创造
  • 以事实为专家：基于符号知识的可适应和可解释神经记忆

    该论文提出了一种神经语言模型，该模型在符号可解释事实信息和亚符号神经知识之间包括显式接口，可以通过操作其符号表示更新并覆盖已有的知识，进而显著提升知识密集型问题的问答性能。

    Jul, 2020

  • 奥巴马的妻子希拉里：使用知识图谱进行事实感知的语言建模

    本研究提出了基于知识图谱的语言模型 (KGLM)，它通过从知识图谱中选择和复制与上下文相关的事实来生成准确的文本，在此基础上，引入了对齐 Wikidata 知识图谱的已注释文本的 Linked WikiText-2 数据集，通过实验比较，证明了 KGLM 在生成需要熟知事实的语句方面的性能优于现有的强基准语言模型。

    Jun, 2019

  • 只需添加功能：神经符号语言模型

    本文提出了一种方法来增强神经网络语言模型的归纳偏好，即通过将简单的函数结合到神经体系结构中形成分层神经符号语言模型，进而显著降低小语料库语言建模的困惑度，并证明其表现提高在更大的语料库中也会持续提升。

    Dec, 2019

  • 知识本地化：任务未完成？进入查询本地化！

    大型语言模型可以存储广泛的事实知识，但其存储和表达这些知识的机制仍不清楚。本论文重新考察了知识定位假设的合理性，并从统计学和知识修改的角度确认了不符合该假设的事实的存在。进一步提出了关联查询和知识选择的方法，以及一种改进知识修改的一致性感知方法。通过 39 组实验证实了我们的结论。

    May, 2024

  • 语言模型作为知识库的综述

    本文回顾了最近关于使用预先训练的自然语言处理语言模型作为知识库的文献，提出了应该具备的一些方面，探讨了这种方法相较于传统知识库的优势在于无需人工监督进行的无监督学习。

    Apr, 2022

  • 基于事实英语的知识编纂

    本文通过基于神经网络自然语言解析器 mStanza 的 KALM 框架，针对事实性英语陈述进行事实和查询创作，并提出解决神经网络自然语言解析器存在的词性标注、词形还原和依赖解析错误等问题的技巧，通过测试表明，该系统的正确性超过了 95%。

    Aug, 2022

  • 图形语言模型

    图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

    Jan, 2024

  • 知识增强语言模型及其在无监督命名实体识别中的应用

    用知识增强的语言模型（KALM）通过使用外部知识库和优化文本困惑度的端到端预测目标培训，在不需要任何其他信息（如命名实体标签）的情况下，能够成功地建模命名实体（及可能的其他类型的世界知识）并在无监督的方式上对其进行识别，并实现与最先进的监督模型相当的性能。

    Apr, 2019

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 大型知识模型：视角与挑战

    人类对世界的理解与我们的感知和认知密切相关，其中人类语言作为世界知识的重要承载者之一。本文通过 “知识” 这个视角来探索大型模型，并讨论符号知识如何增强大型语言模型以及大型语言模型如何扩展传统符号知识基础。考虑到人类知识的复杂性，我们倡导创建专门管理多样化知识结构的大型知识模型，并提出了五个 “A” 原则来区分 LKM 的概念。

    Dec, 2023