Mar, 2023

基于 Transformer 的符号回归规划

PDF
TL;DR提出了一种基于变压器（Transformer）的符号回归规划策略（TPSR），它融合了蒙特卡罗树搜索，允许将准确性和复杂性等非可微反馈信息整合到方程生成过程中，并且在多个数据集上进行的广泛实验表明，TPSR 方法优于现有的方法。
symbolic regressionmachine learningtransformer-based modelsmonte carlo tree searchequation generation
发现论文，激发创造
  • 用于科学发现的符号回归的 Transformer 模型

    这篇研究论文介绍了一种新的 Transformer 模型，用于符号回归（Symbolic Regression）特别关注其在科学发现领域的应用。我们提出了三种不断增加灵活性的编码器架构，但代价是列置换等变性的破坏。训练结果表明，最灵活的架构能够防止过拟合。经过训练后，我们应用最佳模型到符号回归科学发现数据集（SRSD 数据集），使用归一化的基于树的编辑距离获得了最新的结果，而且不需要额外的计算成本。

    Dec, 2023

  • 符号表达式转换器：一种用于符号回归的计算机视觉方法

    本研究提出了一种通过计算机视觉构建符号表达式变换器来解决基于样本的符号回归模型的通用性和效率受限的问题，并在一个不重复数据集上进行了测试。

    May, 2022

  • 深度生成符号回归

    通过利用预训练的深度生成模型来捕捉方程的内在规律，本研究提出了深度生成符号回归（DGSR）框架，实现了具有更高恢复率和更高计算效率的符号回归解决方案。

    Dec, 2023

  • 基于生成预训练 Transformer 的符号回归与上下文强化学习

    本文提出了 FormulaGPT，通过使用基于强化学习的 SR 算法的大规模稀疏奖励学习历史作为训练数据进行 GPT 训练，将基于强化学习的 SR 算法提炼为一种 Transformer。在多个数据集上进行测试，FormulaGPT 在拟合能力方面表现出与四个基准模型相比的最先进性能，并且在噪声鲁棒性、多功能性和推理效率方面均取得了令人满意的结果。

    Apr, 2024

  • 贝叶斯符号回归

    本文提出了一种新的基于贝叶斯的符号回归 (SR) 方法，通过添加先验知识，控制复杂度，并利用马尔可夫链蒙特卡罗方法从后验分布中采样符号树，从而提高 SR 模型的可解释性和准确性。与遗传编程相比，该方法更节省计算机内存。

    Oct, 2019

  • 通过 GPT 引导的蒙特卡罗树搜索从数据中发现数学公式

    SR-GPT 是一种新的符号回归算法，通过将 MCTS 与 GPT 相结合，显著提高了 MCTS 的搜索效率，并利用 MCTS 结果进一步完善 GPT，从而在正确恢复符号表达式方面优于现有的最先进算法。

    Jan, 2024

  • 上下文符号回归：利用语言模型进行函数发现

    本文研究了将预训练的大型语言模型（LLMs）整合到 Symbolic Regression（SR）流程中，利用 LLMs 依据观测数据提出可能的函数，并通过模型自身和外部优化器逐步优化，取得令人满意的结果。同时，分析了在这一背景下的视觉 - 语言模型，在输入中包含图像以辅助优化过程，研究结果显示 LLMs 能够成功恢复适合给定数据的符号方程，优于基于遗传编程的 SR 基准方法，并且将图像加入输入具有较好的效果，尤其对于复杂的基准问题。

    Apr, 2024

  • RSRM: 强化符号回归机

    提出了一种新的增强符号回归机 (RSRM) 模型，通过 Monte Carlo 树搜索、双 Q-learning 块和调制子树发现块，可以从极少的数据中学习复杂的数学方程，并取得了关于符号回归的最新性能记录。

    May, 2023

  • 可扩展神经符号回归

    本研究介绍了第一种使用大规模预训练的符号回归方法，通过生成一组不受限方程式并使用 Transformer 预测输入输出对应的符号方程，提高了方程式发现的效率和准确性。

    Jun, 2021

  • 利用 FPGA 进行符号回归用于快速机器学习推理

    本篇论文提出一种利用符号回归技术和 FPGA 实现的机器学习模型优化算法，成功地将一个由 3 层神经元组成的模型大幅优化，准确率超过 90%，执行时间缩短了 13 倍。

    May, 2023