通过在城市更新领域中自动产生问答数据集，并使用 Prefix 和 LoRA 的联合微调方法对模型进行联合微调训练，本研究提出的联合微调训练方法能够显著提高 LLM 在知识问答任务上的性能，相比 LoRA 微调，该方法使测试中的 Bleu 和 Rouge 指标提高了约 5%；相比微调前的模型，该方法使 Bleu 和 Rouge 指标提高了约 15% -20%。该研究证明了在城市更新知识问答任务中使用 Prefix 和 LoRA 的联合微调方法对 ChatGLM 的有效性和优越性，为 LLM 在城市更新相关任务上的微调提供了新的方法。

Nov, 2023

本研究提出了使用大型语言模型和图模型相结合的方法来学习文本属性图 (TAG)，通过将大型语言模型的能力提取到本地图模型上，以解决大型语言模型的可扩展性、成本和隐私问题，并通过丰富的文本理由教授解释器，然后让学生模型模仿解释器的推理来弥补大型语言模型和图模型之间的固有差距。通过广泛实验证明了该方法的有效性。

Feb, 2024

我们的研究开发了一个基于统一医学语言系统（UMLS）的增强型大型语言模型（LLMs）框架，通过自动和医师评估等方法，实验证明了该框架有效地提高了生成内容的准确性、完整性和相关性，同时突出了大型语言模型在医学问答中的潜在应用价值。

Oct, 2023

提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

Nov, 2023

在科学领域，LLMs 的幻觉问题是必须解决的，因为可重现性是至关重要的。本文介绍了 LLaMP，这是一个多模态检索增强生成（RAG）框架，由多个数据感知推理和行动（ReAct）代理组成，动态与 Materials Project（MP）上的计算和实验数据交互。LLaMP 在不进行精细调整的情况下，能够理解和整合各种材料科学概念的多模态信息，实时获取相关数据，处理高阶数据（如晶体结构和弹性张量），并对固态合成的多步骤过程进行总结。同时，LLaMP 能有效纠正 GPT-3.5 在频繁文档中的带隙和形成能量方面的错误，并将钻立方硅结构的虚幻体积应变从 66.3％降低到 0。该框架为材料信息学提供了一种直观且几乎无幻觉的方法，并为知识蒸馏和精细调整其他语言模型奠定了基础。我们设想该框架作为科学假设的有价值组成部分，并为未来的自主实验室奠定基础，多个 LLM 代理与机器人通信和协作，驱动材料合成和化学反应，无需硬编码的人类逻辑和干预。

Jan, 2024

通过改善数据质量，例如进行代码转换和模块化，自然语言生成代码的性能可以得到显著提升。研究结果还表明，使用较少但高质量的数据进行模型微调可以优于在原始数据集上进行微调。

Nov, 2023

介绍了 PMC-LLaMA, 一种在 4.8 百万篇生物医学论文上 fine-tuning 得到的语言模型，用于注入医学知识，提高在医学领域的性能，经过初步试验后在生物医学数据集上表现出更好的理解生物医学特定概念，在 QA 基准上表现出高性能。

Apr, 2023

基于复杂情境的知识融合方法推进领域语言模型在问题回答任务上的准确率，展示了适应 Paucity-Constrained 复杂推理适应于各个领域的高效性和适应性。

Mar, 2024

通过 Disentangled Graph-Text Learner (DGTL) 模型，结合图结构信息和大型语言模型，提升了对文本属性图的推理能力和预测能力，并且通过提供自然语言解释来显著提高模型的解释性。

Oct, 2023

使用基于图的语言模型预训练算法（GALM）预处理大型图谱上的文本信息，使用各种下游应用的调整方法进行优化，取得了很好的效果。

Jun, 2023