LLaMP: 用于高保真材料知识检索和蒸馏的大型语言模型

Jan, 2024

LLaMP: 用于高保真材料知识检索和蒸馏的大型语言模型

LLaMP: Large Language Model Made Powerful for High-fidelity Materials Knowledge Retrieval and Distillation

Yuan Chiang, Chia-Hong Chou, Janosh Riebesell

TL;DR在科学领域，LLMs 的幻觉问题是必须解决的，因为可重现性是至关重要的。本文介绍了 LLaMP，这是一个多模态检索增强生成（RAG）框架，由多个数据感知推理和行动（ReAct）代理组成，动态与 Materials Project（MP）上的计算和实验数据交互。LLaMP 在不进行精细调整的情况下，能够理解和整合各种材料科学概念的多模态信息，实时获取相关数据，处理高阶数据（如晶体结构和弹性张量），并对固态合成的多步骤过程进行总结。同时，LLaMP 能有效纠正 GPT-3.5 在频繁文档中的带隙和形成能量方面的错误，并将钻立方硅结构的虚幻体积应变从 66.3％降低到 0。该框架为材料信息学提供了一种直观且几乎无幻觉的方法，并为知识蒸馏和精细调整其他语言模型奠定了基础。我们设想该框架作为科学假设的有价值组成部分，并为未来的自主实验室奠定基础，多个 LLM 代理与机器人通信和协作，驱动材料合成和化学反应，无需硬编码的人类逻辑和干预。

Abstract

Reducing hallucination of large language models (LLMs) is imperative for use in the sciences where reproducibility is crucial. However, LLMs inherently lack long-term memory, making it a nontrivial, ad hoc, and i

large language models hallucination llamp multimodal retrieval-augmented generation materials project

发现论文，激发创造

LLM 是否准备好面对现实世界的材料探索？

基于材料科学知识和假设生成及假设测试，我们描述了材料科学 LLMs 的框架，以及构建大规模多模态数据集的挑战和应用 MatSci-LLMs 进行材料发现的路线图。

Feb, 2024

基于生成检索增强的本体图和多智能体策略的解释性大型语言模型材料设计

使用 Transformer 神经网络和大型语言模型进行材料分析、知识生成和力场开发的研究。

Oct, 2023

大型语言模型中最小化事实不一致和幻觉

提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

Nov, 2023

大语言模型时代的材料科学：一个观点

我们提供一个对大型语言模型在材料科学研究中的适用性的观点，认为它们处理一系列任务和学科中的模糊需求的能力使它们成为帮助研究人员的强大工具。我们定性地研究了基础的大型语言模型理论，并将其与文献中的相关性质和技术联系起来，然后提供了两个案例研究，展示了它们在大规模任务自动化和知识提取中的应用。我们认为，在当前的发展阶段，大型语言模型应该被视为能够加速和统一领域探索的不知疲倦的工具，而不是新见解的神谕。希望本文能让材料科学研究人员了解到运用这些工具的相关概念。

Mar, 2024

LLMatDesign：基于大型语言模型的自主材料发现

LLMatDesign 是一个基于大型语言模型的可解释材料设计框架，通过使用 LLM 代理来翻译人类指令、修改材料并使用提供的工具评估结果，以零样本的方式适应新任务和条件，通过在几个材料设计任务上系统评估证实其在小数据领域中开发具有用户定义目标属性的新材料的有效性，展示了在计算环境中基于自主 LLM 引导的材料发现对于未来的自动化实验室的显著潜力。

Jun, 2024

LAMP：一种地图上的语言模型

通过在特定城市数据上对预训练模型进行微调，本研究引入了一种新的框架，从而使其能够提供准确的推荐，同时最大限度地减少虚构。我们分享了我们的模型 LAMP 和用于训练它的数据，通过实验分析其正确检索空间对象的能力，并将其与 GPT-4 等众所周知的开源和封闭源语言模型进行比较。最后，我们通过一次日程规划的案例研究探索它的新兴能力。

Mar, 2024

评估检索增强型大型语言模型在科学文件推理中的有效性

本研究通过关键字检索对多种大型语言模型进行评估，发现这些模型在科学文档推理任务中会使用编造的证据来支持预测，利用科学语料库进行预训练无法减轻证据捏造的风险。

Nov, 2023

知识增强大型语言模型的原则框架

这篇论文介绍了一个严格设计的框架，用于创建能够有效锚定知识并采用闭环推理过程的大型语言模型，以提升其进行深入分析的能力，同时解剖了该框架的组成部分对模型性能的贡献，从而为改进推理能力提供了理论保证。

Nov, 2023

大型语言模型能否学习超材料的物理学？ChatGPT 的实证研究

在大规模语言模型（LLMs）的研究中，通过对上万份数据进行微调，我们成功构建了一种可以根据元表面几何仅仅通过文本提示就能预测一系列频率范围内的电磁光谱的 LLM 模型。与传统的机器学习方法相比，该模型在所有探索过的数据集大小上均实现了更低的误差，包括深度神经网络。此外，我们还证明了 LLM 通过提供所需的几何形状来解决反问题的能力。因此，我们建议在特定领域的大型数据集上对 LLMs 进行微调，使其能够把握该领域的细微差别，成为研究和分析的有价值工具。

Apr, 2024

RRAML: 强化检索增强机器学习

通过提出一种名为增强检索增强机器学习（RRAML）的新型框架，将大型语言模型的推理能力与用户提供的数据库中的检索信息相结合，有效地解决了 API 文本输入的上下文限制和外部数据源可用性的局限性。

Jul, 2023