LLM4ED：大型语言模型用于自动方程式发现
利用大型语言模型（LLMs）的广泛科学知识和强大的代码生成能力，我们引入了 LLM-SR，一种新颖的方法，以高效地从数据中发现科学方程。LLM-SR 将方程视为数学运算符的程序，并结合 LLMs 的科学先验和方程程序的进化搜索来提出新的方程框架，优化框架参数以估计数据拟合度较好的物理准确的方程。在三个不同的科学领域中展示了 LLM-SR 的有效性，发现的方程与领域内外的数据相比，提供了更好的拟合结果，并超过了现有的方程发现基准。
Apr, 2024
利用大型语言模型 (LLMs) 进行特定领域的数学推导是一项新兴的研究方向，可以帮助发现模型的局限性，潜在地支持数学发现。本文利用符号引擎在大规模上生成方程的推导，并研究 LLMs 在从前提中推导目标方程时的能力。实证结果表明，fine-tuned FLAN-T5-large (MathT5) 在绝对性能方面超过了 GPT 模型在所有静态和分布外的测试集上。然而，深入分析发现，fine-tuned 模型对于涉及未知符号的扰动 (以及较小程度的方程结构更改) 更为敏感。此外，我们分析了 1.7K 个方程和 200 多个推导，突出了常见的推理错误，如包含不正确、无关或多余的方程，以及跳过推导步骤的倾向。最后，我们探讨了评估数学推导的现有指标的适用性，发现尽管它们能捕捉到对扰动的敏感性等一般属性，但无法凸显细粒度的推理错误和模型之间的重要差异。总体来说，本研究表明在合成数据上训练模型可以提高其数学能力，超越更大的架构。
Jul, 2023
本文提出了一种结合基于知识的 LLMs 因果分析和数据驱动因果结构学习的新框架，以构建因果结构学习的新范式，并介绍了一套广泛的提示组，以从给定变量中提取因果图，并评估 LLM 先前因果对从数据中恢复因果结构的影响
Jun, 2023
数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的 LLM 技术范围、影响 LLMs 解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。
Jan, 2024
自然语言处理和大型语言模型在教育和指导方法领域取得了快速进展，特别在解决数学问题的应用方面，其中 MAmmoTH-13B 表现出了最高的能力水平，成为解决 NCERT 数学问题的可靠基准。
Apr, 2024
大型语言模型可用于定量信息检索，以帮助数据分析任务，如贝叶斯模型的先验分布以及缺失数据的插补。我们提出了一个提示工程框架，将大型语言模型视为科学文献的潜在空间界面，并与其他已建立的方法进行比较。同时讨论了使用大型语言模型作为 “专家” 的影响和挑战。
Feb, 2024
预训练的大型语言模型（LLMs）在进行零 - shot 任务（包括时间序列预测）时表现出惊人的效果，本文研究了 LLMs 在从事受物理规律控制的动力系统情景下外推行为的能力，结果显示 LLaMA2 在无需微调或提示工程的情况下能准确预测动力系统时间序列，此外，学习到的物理规律的准确性随输入环境窗口长度的增加而增加，揭示了一种上下文版本的神经缩放定律，并提出了一种灵活高效的算法，可直接从 LLMs 中提取多位数的概率密度函数。
Feb, 2024
我们提供一个对大型语言模型在材料科学研究中的适用性的观点，认为它们处理一系列任务和学科中的模糊需求的能力使它们成为帮助研究人员的强大工具。我们定性地研究了基础的大型语言模型理论，并将其与文献中的相关性质和技术联系起来，然后提供了两个案例研究，展示了它们在大规模任务自动化和知识提取中的应用。我们认为，在当前的发展阶段，大型语言模型应该被视为能够加速和统一领域探索的不知疲倦的工具，而不是新见解的神谕。希望本文能让材料科学研究人员了解到运用这些工具的相关概念。
Mar, 2024
通过引入个性化学习工具，建立在大型语言模型上，可以在学生完成交错的本科物理课程作业时为他们提供即时个性化关注，以提高其记忆和问题解决能力。我们的工具利用维度分析方法，增强学生对复杂现象的定性思维和问题解决能力，结合符号回归的大型语言模型与维度分析，通过提示工程为学生提供了一种独特的视角，以理解物理变量之间的关系，从而培养更广泛、更灵活的物理和数学原理的理解能力，作为传统本科物理教育的补充，该教育依赖于解释和应用特定背景下的已建立的方程式。我们在费恩曼物理学讲座中测试了我们的个性化学习工具，对方程式中的物理变量关系进行了正确的识别，强调其作为本科物理学生补充个性化学习工具的价值。
Jun, 2024