Jun, 2024

MLLM-SR：基于多模态大型语言模型的对话符号回归

PDF
TL;DR基于多模态大型语言模型，提出了一种对话式符号回归方法 MLLM-SR，可以通过使用自然语言指令描述需求来生成满足要求的表达式。通过在 Nguyen 数据集上的实验证明 MLLM-SR 在拟合性能上超过了现有方法，并且可以很好地理解添加到自然语言指令中的先验知识，从而有效地引导其生成正确的表达式。
发现论文，激发创造
  • MMSR：符号回归为多模态任务

    该研究论文提出了一种名为 MMSR 的方法，通过解决多模态对齐的对比学习问题，将纯符号回归问题转化为一个纯多模态问题，并通过模态特征融合提升了性能，实验结果表明 MMSR 在多个主流数据集上与多个大规模预训练基准模型相比取得了最先进的结果。

    Feb, 2024

  • 上下文符号回归：利用语言模型进行函数发现

    本文研究了将预训练的大型语言模型（LLMs）整合到 Symbolic Regression（SR）流程中，利用 LLMs 依据观测数据提出可能的函数，并通过模型自身和外部优化器逐步优化，取得令人满意的结果。同时，分析了在这一背景下的视觉 - 语言模型，在输入中包含图像以辅助优化过程，研究结果显示 LLMs 能够成功恢复适合给定数据的符号方程，优于基于遗传编程的 SR 基准方法，并且将图像加入输入具有较好的效果，尤其对于复杂的基准问题。

    Apr, 2024

  • LLM-SR: 大语言模型编程实现科学方程发现

    利用大型语言模型（LLMs）的广泛科学知识和强大的代码生成能力，我们引入了 LLM-SR，一种新颖的方法，以高效地从数据中发现科学方程。LLM-SR 将方程视为数学运算符的程序，并结合 LLMs 的科学先验和方程程序的进化搜索来提出新的方程框架，优化框架参数以估计数据拟合度较好的物理准确的方程。在三个不同的科学领域中展示了 LLM-SR 的有效性，发现的方程与领域内外的数据相比，提供了更好的拟合结果，并超过了现有的方程发现基准。

    Apr, 2024

  • 大型语言模型是神经符号推理器

    该论文研究了大型语言模型作为符号推理器的潜在应用，提出了一个针对符号挑战和实现游戏目标的 LLM 代理，并通过实验结果证明了其能显著增强 LLMs 作为符号推理自动化代理的能力，对涉及符号任务的基于文本的游戏取得了 88% 的平均性能。

    Jan, 2024

  • 培训以调用符号求解器为目标的经济型语言模型实现参数高效算术推理

    在这篇论文中，我们提出了一种名为 SYRELM 的架构，它通过采用符号求解器来将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的 LM 生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的 LM，从而实现合理的算术推理。该方法在准确性上取得了巨大的改进，并具有易于诊断、解释和大多数研究人员可以使用的特点。

    Dec, 2023

  • 多视角符号回归

    多视图符号回归（MvSR）方法考虑多个同时存在的数据集，以模拟实验环境并输出一个通用参数解，可以准确拟合所有数据集，能够恢复已知表达式并找到有前景的替代方案，从而使符号回归方法在广泛的实验场景下可用。

    Feb, 2024

  • 大型语言模型是可解释学习者

    大型语言模型与符号程序的结合可以在构建人类中心预测模型时解决表达力和解释性之间的平衡问题。

    Jun, 2024

  • 面向可解释和语言无关的 LLMs：大规模语言符号逆向工程

    本文讨论了大规模语言模型的局限性和其基于深度神经网络的内在架构所造成的影响，提出了使用符号表示和基于底层反向工程重构语言的方法来弥补这些局限性。

    May, 2023

  • Symbol-LLM: 面向大型语言模型的基础符号中心化界面

    Symbol-LLM 系列模型通过收集各种符号任务并注入符号知识，解决了大型语言模型面临的符号间关系和符号中心与自然语言中心能力平衡的挑战，实验结果表明 Symbol-LLM 系列模型在符号和自然语言任务上具有平衡和优越的性能。

    Nov, 2023

  • RSRM: 强化符号回归机

    提出了一种新的增强符号回归机 (RSRM) 模型，通过 Monte Carlo 树搜索、双 Q-learning 块和调制子树发现块，可以从极少的数据中学习复杂的数学方程，并取得了关于符号回归的最新性能记录。

    May, 2023