通过利用知识图谱 (KGs) 来系统评估大型语言模型 (LLMs) 的事实知识，本文提出了一个框架。我们的框架通过从给定 KG 中存储的事实自动生成一组问题和预期答案，然后评估 LLMs 回答这些问题的准确性。我们在通用和特定领域系统评估了最先进的 LLMs，实验证明 ChatGPT 在所有领域中始终是最佳表现者。我们还发现 LLMs 的表现取决于指导微调、领域和问题的复杂性，并且容易受到对抗性环境的影响。

Oct, 2023

现代大型语言模型拥有丰富的世界知识，可以在正确利用的情况下在常识推理和知识密集型任务方面取得强大的性能。然而，语言模型也能够学习社会偏见，可能对社会造成重大危害。本文提出了一种使用知识图谱增强生成模型的攻击语言模型的新方法，并采用敌对攻击策略诱导多个开源和闭源语言模型产生偏见性回应。我们发现我们的方法增加了所有模型的偏见，即使那些经过安全保护性训练的模型也是如此。这表明在 AI 安全领域需要进一步的研究，以及在这个新的敌对空间中的进一步工作。

May, 2024

大型语言模型在知识图谱工程方面的性能评估和监控是一个重要问题，我们引入了一个基于知识图谱工程的基准评测框架，涵盖了语法和纠错、事实抽取以及数据集生成三个挑战。通过实验证明，尽管具有一定的实用性，大型语言模型在零样本生成知识图谱方面尚不适用。因此，我们的 LLM-KG-Bench 框架提供了 LLM 响应的自动评估和存储机制，以及统计数据和可视化工具，以支持指导数据和模型性能的追踪。

Aug, 2023

过去十年来，人们对神经网络的鲁棒性进行了广泛的研究，但这个问题依然没有得到很好的解决。在这篇论文中，我们提出了改进新方法的鲁棒性评估和减少错误评估的第一组先决条件，同时指出了面向开源模型中恶意内容生成的嵌入空间攻击作为另一个可行的威胁模型。最后，我们通过一个最近提出的防御方法进行演示，展示了在没有针对大型语言模型的最佳实践的情况下，过高估计新方法的鲁棒性的容易性。

Oct, 2023

KG-GPT 是一个多功能框架，利用大型语言模型（LLMs）进行知识图谱（KGs）相关任务的复杂推理，将句子分割、检索相关图谱组件和推导逻辑结论分为三个步骤。我们通过使用基于 KG 的事实验证和 KGQA 基准来评估 KG-GPT，发现该模型表现出竞争力和稳健性，甚至胜过几个完全监督的模型。因此，我们的工作在统一 LLMs 的结构化和非结构化数据处理方面迈出了重要的一步。

Oct, 2023

攻击知识图谱构建：使用大型语言模型和 LLM 框架完全自动化构建攻击知识图谱，包括重写、解析、识别和总结模块，提供关于攻击事件分析所需的信息，并有效地提取 AttacKG + 所定义的信息，从而在攻击重建等下游安全实践中直接受益。

May, 2024

本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

Jun, 2023

对大型语言模型的鲁棒性进行了攻击和评估，并在五项不同的文本分类任务上建立了新的鲁棒性基准，研究结果对可靠部署语言模型并推动可信人工智能系统的发展具有重要意义。

May, 2024

该论文回顾了使用知识图谱增强的预训练模型的研究，详细介绍了现有的知识图谱增强预训练语言模型（KGPLMs）及其应用，并提出了基于知识图谱增强的大型语言模型（KGLLM）的思想以增强 LLM 的面向事实的推理能力，为 LLM 的研究开辟了新的途径。

Jun, 2023

通过在知识图谱（KG）上选择推理路径并结合思维链（CoT）和 PageRank 的子图检索方法，本文整合和优化了一个基于大型语言模型（LLM）的管道，可以减少对 LLM 的依赖。最终，RoK 证明了使用较少的 LLM 调用可以达到相同的结果。

Apr, 2024