LLM 指导 LLM：提取和编辑方法
通过动态上下文编辑的方式，我们引入了一种新的方法，将信息检索重新设想，使长文本上下文成为可塑的外部知识，并通过与最新的知识编辑技术相结合，与有关信息进行交互式收集和整合，从而使大型语言模型能够进行复杂的推理步骤，有效增强了推理能力。
Jun, 2024
针对大型语言模型（LLMs）中领域特定知识匮乏的问题，本文提出了一种基于知识图谱检索增强的方法，通过利用少量标记样本和大规模语料库，构建了领域特定的知识图，并通过三阶段的知识图与 LLM 对齐策略增强了 LLM 利用知识图的能力，实验证明我们的方法优于现有基准模型。
Jun, 2024
利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。
Feb, 2024
本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。
Dec, 2022
通过结合大型语言模型（LLMs）和知识图谱（KGs），本研究论文提出了一种自动构建知识图谱的方法，并讨论了在数字教育环境中，LLMs 与 KGs 结合在问答任务中的初步应用。
Apr, 2024
临床放射学报告中的错误更正方法研究，利用大型语言模型（LLMs）和检索增强生成（RAG）技术，通过内部和外部检索机制从报告和外部知识源中提取相关医学实体和关系，并引入三阶段推理过程，将任务分解成错误检测、定位和更正子任务，从而提高了系统的可解释性和性能，并通过由领域专家指导的对真实世界放射学报告进行真实错误损坏的基准数据集进行了评估，实验结果表明了所提方法的优势，通过内部和外部检索的结合显著提高了各种最先进的 LLMs 在错误检测、定位和更正方面的准确性，研究结果有助于为临床文档制定更健壮可靠的错误更正系统。
Jun, 2024
通过在细调阶段共同训练信息检索系统和大规模语言模型，引入了一种创新方法 —— 共同医学 LLM 和检索训练（JMLR），以克服传统模型在处理医学问答任务方面面临的挑战，通过采用同步训练机制，JMLR 降低了对计算资源的需求，增强了模型利用医学知识进行推理和回答问题的能力。我们的实验结果表明，JMLR-13B 在 Amboos 上的正确率为 81.2％，在 MedQA 上的正确率为 61.3％，优于使用传统预训练和精调 Meditron-70B 模型（在 AMBOSS 上为 76.4％，在 MedQA 上为 60.3％）。在规模相同的 7B 模型中，JMLR-7B 的正确率（在 Amboos 上为 68.7％，在 MedQA 上为 51.7％）明显优于其他公开模型（Meditron-7B：50.1％，47.9％），证明了它在成本（我们的训练时间：37 小时，传统方法：144 小时）、效率和医学问题回答任务的有效性方面的优越性。通过此工作，我们为医疗保健提供了一种新的高效知识增强工具，展示了将信息检索和大规模语言模型训练集成到精确医学信息检索和问答系统中的巨大潜力。
Feb, 2024
大规模语言模型在信息提取任务中存在问题，通过两阶段多步骤方法和强化学习框架提高其表现，将顺序提取视为马尔可夫决策过程，训练决策模型以提供最佳的实体提取顺序，有效改善大规模语言模型的信息提取能力。
Jun, 2024
该研究构建了十个低资源语言的关系抽取数据集，并利用语言困惑度对翻译数据进行过滤，最后在这些数据集上评估了开源大型语言模型的性能。
Jun, 2024