本文提出一种在 Common Crawl 项目的基础上，使用大规模、自然、多样化问答数据集进行领域内预训练的方法，该方法可以用于 open-domain question-answering 任务中的零样本、低资源和微调设置，展示了预训练在该任务中的潜力。

Oct, 2021

提出了一种名为 CooK 的新型框架，通过提供模块化的知识和协同来源的知识，为通用大型语言模型增强知识能力，并通过动态选择、筛选、整合不同领域的参数知识仓库促进多领域知识综合和按需更新，从而获得了在六个基准数据集上的最先进性能。

May, 2023

本文提出了将外部常识知识与语言模型相结合的方法，以提高多选题目中常识知识的应用。研究人员采用三种不同的知识插入策略和四种不同的问题 - 回答模型，分析预测结果并探索进一步改进的范围。

Sep, 2019

本文提出了一种通过域特定知识来增强 LLMs（large language models）在实际应用中性能的方法，即 DOKE。通过一个域知识提取器，将提取的知识以 LLM 可理解的方式整合到模型中，实验证明 DOKE 能够显著提高 LLM 在特定领域中的性能。

Nov, 2023

我们基于材料学领域的 650 个具有挑战性的问题，对 GPT-3.5 和 GPT-4 模型在问答、零点提示和思维链激励下的表现进行了评估，并发现 GPT-4 的准确率最高（约为 62%），而与思维链激励相比，没有明显的准确率提高。通过错误分析，我们发现概念错误（64%）是改进语言模型表现的主要因素，而计算错误（36%）对 LLMs 性能的降低起到了次要作用。我们希望该工作中的数据集和分析能够促进材料科学领域特定 LLMs 的开发和信息提取策略的研究。

Aug, 2023

提出一种高效管道，通过使用 Common Crawl 在因特网上创建大规模、多语种的 PDF 文件语料库，有助于语言模型的预训练。数据集和工具为研究者提供了开发更好的多语言语言模型的机会。

Apr, 2023

运用大语言模型生成的查询扩展可以显著增强信息检索系统，但由于模型的知识有限，导致扩展与检索语料库之间存在错位、产生幻觉和过时信息等问题。为了解决这些挑战，本文提出了基于语料库导向的查询扩展方法，利用大语言模型的相关性评估能力系统地识别初始检索文档中的关键句子，并将这些基于语料库的文本与大语言模型扩展的结果一起用于查询扩展，从而提高查询和目标文档之间的相关性预测。通过广泛的实验证明，该方法在没有任何训练的情况下表现出强大的性能，尤其适用于大语言模型缺乏知识的查询。

Feb, 2024

本文提出一种基于语义知识排名模型和知识融合模型的开放领域问答方法，该方法通过整合基于 Lucene 的信息检索系统检索的知识和 BERT 语言模型中的外部检索知识，以正确回答问题。研究表明，基于知识融合模型的方法优于之前的尝试。

Apr, 2020

我们构建了一种基于知识导向的大型语言模型评估基准，并通过使用维基百科和不断收集出现的语料库来确保数据的公正比较，评估 21 个开源和商业大型语言模型的能力和知识相关度。

Jun, 2023

我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

Oct, 2023