我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练，最后，我们提出了知识引导的生成策略，在解码步骤中施加先验约束，促进独特知识线索的生成，在三个基准测试中实验证明，与强基线方法相比，在所有评估指标上均取得了 3.0% 到 14.6% 的显著改进。

Jan, 2024

我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

Oct, 2023

尽管大型语言模型在知识密集型任务上表现出竞争力，但它们仍存在于记忆所有世界知识，尤其是长尾知识方面的局限性。本文研究了用于解决知识图谱问答任务的知识图增强语言模型方法。基于回答敏感的 KG-to-Text 方法，我们提出了一种将 KG 知识转化为对 KGQA 最有信息量的文本化陈述的方法，并基于此方法提出了一种 KG-to-Text 增强的 LLMs 框架来解决 KGQA 任务。在几个 KGQA 基准测试上的实验证明了所提出的 KG-to-Text 增强 LLMs 方法在回答准确性和知识陈述的有用性方面优于先前的 KG 增强 LLMs 方法。

Sep, 2023

通过将大型语言模型与知识库相结合，KnowledGPT 能够更好地回答涉及世界知识的更广泛问题，利用广为人知的知识库和个性化知识库中的知识。

Aug, 2023

使用来自知识图谱的规划数据，我们介绍了一种增强大型语言模型在复杂问答任务中的性能的新框架，通过使用这些数据对 LLMs 进行微调，提高其规划能力，更好地处理涉及检索的复杂 QA 任务。我们的框架在多个数据集上进行评估，包括我们提出的新基准，突出了其有效性和知识图谱派生规划数据的好处。

Jun, 2024

基于大型语言模型 (LLM) 和 BERT 的知识库问答系统 (LB-KBQA) 利用生成式人工智能技术能够检测新出现的意图并获取新知识，在金融领域问题回答实验中展示出卓越的有效性。

Feb, 2024

本文提出了一种新的方法 GenRead，它使用大型语言模型生成上下文文档来解决开放领域 QA 等知识密集型任务，并且借助基于聚类的提示方法来选择不同的提示从而提高回收率，实验证明相比于传统的检索 - 阅读模型，这种方法有更高的准确性。

Sep, 2022

提出一种新颖的生成式时间知识图问答框架（GenTKGQA），通过两个阶段引导 LLMs 回答时间性问题：子图检索和答案生成。在第一个阶段，利用 LLM 的内在知识来挖掘问题中的时间约束和结构链接，从而缩小子图搜索空间。在第二个阶段，设计虚拟知识指示器将子图的图神经网络信号与 LLM 的文本表示非浅层次地融合，帮助开源 LLM 深入理解检索到的事实中的时间顺序和结构依赖关系。实验结果表明，该模型优于最先进的基准方法，甚至对于简单问题类型的指标达到 100％。

Feb, 2024

我们介绍了一种将 RAG 与知识图谱相结合的新型客户服务问答方法，通过保留内部问题结构和问题间关系，从历史问题中构建知识图谱用于检索，提高检索精度和解答质量。该方法在实证评估中显示，相对于基准模型，该方法在 MRR 上提升了 77.6%，在 BLEU 上提升了 0.32。我们的方法在 LinkedIn 的客户服务团队中使用了近六个月，并将平均每个问题的解决时间减少了 28.6%。

Apr, 2024

大型语言模型在各种自然语言处理任务中表现出色，但在处理需要广泛、现实世界知识的任务，特别是那些涉及长尾实体的任务时，仍然存在困难。为了解决这个问题，本研究分析了不同类型的非参数化知识对语言模型的影响，其中包括文本片段和知识图谱。通过创建一个需要长尾事实知识来回答问题的基准测试工具，我们评估了最先进的语言模型在不同知识环境下的表现。实验结果表明，单独使用语言模型来回答这些问题存在困难，特别是在需要大量长尾知识或丰富知识的情况下。然而，当为语言模型提供非参数化知识时，这些模型的性能显著提高。我们观察到，在大多数情况下，使用知识图谱三元组作为提示的语言模型表现优于使用最先进的检索器的段落提示。此外，虽然同时为语言模型提供知识图谱三元组和文档并不能始终改善知识覆盖率，但可以显著减少生成内容中的幻觉。

May, 2024