本研究旨在探索使用Wikipedia的文本信息和添加更多的训练数据来解决在科学等学科领域中的多项选择题答题任务，实验表明，我们的方法在准确性上相较于先前的最先进技术获得了显著的提升。

Feb, 2019

为了有效评估 Large Language Models（LLMs） 使用外部工具回答问题的能力，我们开发了一个名为 ToolQA 的新数据集，并使用可伸缩的自动化过程进行数据集的管理，并使用13种专门设计的工具进行交互以回答问题。

Jun, 2023

大规模语言模型 (LLMs) 在解决知识密集型任务方面展示出了令人印象深刻的能力。本研究通过分析 LLMs 的事实知识边界以及检索增强对其开放领域问题回答能力的影响，揭示了 LLMs 在自信度、准确度和判断能力方面的特征。研究发现检索增强是提升 LLMs 对知识边界感知的有效方法，并且 LLMs 在生成答案时倾向于依赖检索结果，但结果质量对其依赖程度有显著影响。

Jul, 2023

尽管大型语言模型在知识密集型任务上表现出竞争力，但它们仍存在于记忆所有世界知识，尤其是长尾知识方面的局限性。本文研究了用于解决知识图谱问答任务的知识图增强语言模型方法。基于回答敏感的KG-to-Text方法，我们提出了一种将KG知识转化为对KGQA最有信息量的文本化陈述的方法，并基于此方法提出了一种KG-to-Text增强的LLMs框架来解决KGQA任务。在几个KGQA基准测试上的实验证明了所提出的KG-to-Text增强LLMs方法在回答准确性和知识陈述的有用性方面优于先前的KG增强LLMs方法。

Sep, 2023

自我指导的检索增强（SKR）是一种简单而有效的方法，可以使大型语言模型适应性地调用外部资源，通过引用其先前遇到的问题，更好地利用内部知识和外部世界知识，以提高在问题回答等任务上的性能。

Oct, 2023

大型语言模型在生成能力方面表现出色，但当仅依赖其内部知识时，容易出现幻觉，尤其是在回答需要不太常见的信息的问题时。基于检索的大型语言模型已经成为将其与外部知识结合的潜在解决方案，然而，最近的方法主要强调从非结构化文本语料库进行检索，忽视了底层结构。此外，当前领域存在一个显著的差距，即缺乏对异构知识源（如知识库和文本）上的大型语言模型进行有效定位的实际基准数据集。为了填补这一空白，我们精心策划了一个综合数据集，提出了两个独特挑战：（1）需要从开放域结构化和非结构化的知识源中检索信息的两跳多源问题，正确回答问题需要从结构化知识源中检索信息；（2）符号化查询（例如用于Wikidata的SPARQL）的生成是一个关键要求，增加了额外的挑战。我们的数据集通过预定义的推理链自动生成和人工注释相结合的方式创建，我们还引入了一种新颖的方法，利用多个检索工具，包括文本段落检索和符号化语言辅助检索。我们的模型在解决上述推理挑战方面优于以往的方法。

Oct, 2023

使用大型语言模型，该研究论文介绍了一种学术知识图谱问答（KGQA）系统，通过少量示例解决书目自然语言问题。模型使用基于BERT的句子编码器来识别与给定测试问题相关的前n个相似训练问题，并检索它们对应的SPARQL查询。利用前n个相似问题-SPARQL对作为示例以及测试问题创建提示，并将其传递给大型语言模型以生成SPARQL查询。最后，在底层知识图谱（Open Research KG）端点上运行SPARQL查询并返回答案。该系统在Scholarly-QALD-23挑战基准中的SciQA数据集上获得了99.0%的F1分数。

Nov, 2023

本文提出了一种名为KnowledgeNavigator的新型框架，通过从知识图中高效准确地检索外部知识并将其作为增强LLM推理的关键因素，以解决LLM在需要长逻辑链或复杂推理的场景中所存在的幻觉和知识限制的问题。通过对给定问题的潜在约束进行挖掘和增强，KnowledgeNavigator指导推理过程；然后，在LLM和问题的指导下，通过对知识图上的迭代推理来检索和过滤支持回答的外部知识；最后，KnowledgeNavigator将结构化知识构建为对LLM有利的有效提示，以帮助其推理。实验证明该框架在多个公开的知识图问答基准测试上具有很高的效果和泛化能力，优于之前的知识图增强LLM方法，并且与完全监督模型相媲美。

Dec, 2023

我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

Feb, 2024

大型语言模型（LLMs）在知识广泛的任务中受到参数知识的限制，从而导致幻觉现象。为了解决这个问题，检索增强生成（RAG）通过引入外部文档片段来扩展LLM的知识。此外，通过提取或总结文档片段中的信息可以改善LLM的性能。然而，LLMs仍然难以察觉和利用分散的关键信息，这被称为“中间丢失”综合症。因此，我们通常需要重构内容以便LLM能够识别关键信息。我们提出了一种名为“Refiner”的端到端提取和重构方法，它在RAG的后检索过程中运行。Refiner利用一个单独的仅解码LLM，根据其相互连通性适应性地提取查询相关内容以及必要上下文，并将它们分割成部分，从而突出信息的区别，并有效地将下游LLMs与原始上下文对齐。实验证明，经过训练的Refiner（具有7B个参数）在提高回答准确性方面对下游LLM有显著的增益，并在各种单跳和多跳QA任务中优于其他最先进的RAG和并发压缩方法。值得注意的是，与最佳解决方案相比，Refiner在多跳任务中实现了80.5％的标记减少和1.6-7.0％的改进边际。Refiner是一种即插即用的解决方案，可以与RAG系统无缝集成，便于在各种开源框架中应用。

Jun, 2024