Apr, 2024

基于生成预训练 Transformer 的符号回归与上下文强化学习

PDF
TL;DR本文提出了 FormulaGPT，通过使用基于强化学习的 SR 算法的大规模稀疏奖励学习历史作为训练数据进行 GPT 训练，将基于强化学习的 SR 算法提炼为一种 Transformer。在多个数据集上进行测试，FormulaGPT 在拟合能力方面表现出与四个基准模型相比的最先进性能，并且在噪声鲁棒性、多功能性和推理效率方面均取得了令人满意的结果。
发现论文，激发创造
  • 通过 GPT 引导的蒙特卡罗树搜索从数据中发现数学公式

    SR-GPT 是一种新的符号回归算法，通过将 MCTS 与 GPT 相结合，显著提高了 MCTS 的搜索效率，并利用 MCTS 结果进一步完善 GPT，从而在正确恢复符号表达式方面优于现有的最先进算法。

    Jan, 2024

  • 基于 Transformer 的符号回归规划

    提出了一种基于变压器（Transformer）的符号回归规划策略（TPSR），它融合了蒙特卡罗树搜索，允许将准确性和复杂性等非可微反馈信息整合到方程生成过程中，并且在多个数据集上进行的广泛实验表明，TPSR 方法优于现有的方法。

    Mar, 2023

  • 深度生成符号回归

    通过利用预训练的深度生成模型来捕捉方程的内在规律，本研究提出了深度生成符号回归（DGSR）框架，实现了具有更高恢复率和更高计算效率的符号回归解决方案。

    Dec, 2023

  • 可扩展神经符号回归

    本研究介绍了第一种使用大规模预训练的符号回归方法，通过生成一组不受限方程式并使用 Transformer 预测输入输出对应的符号方程，提高了方程式发现的效率和准确性。

    Jun, 2021

  • 用于科学发现的符号回归的 Transformer 模型

    这篇研究论文介绍了一种新的 Transformer 模型，用于符号回归（Symbolic Regression）特别关注其在科学发现领域的应用。我们提出了三种不断增加灵活性的编码器架构，但代价是列置换等变性的破坏。训练结果表明，最灵活的架构能够防止过拟合。经过训练后，我们应用最佳模型到符号回归科学发现数据集（SRSD 数据集），使用归一化的基于树的编辑距离获得了最新的结果，而且不需要额外的计算成本。

    Dec, 2023

  • 利用语法引导符号回归的强化学习方法实现领域知识融合

    本文提出了一种基于强化学习的语法引导符号回归方法，利用上下文无关文法作为强化行动空间来限制表示空间，并且针对物理方程搜索的应用场景，与基于文法和非基于文法的符号回归方法进行比较。实验结果表明，我们的方法在基准测试中具有竞争力，并在误差 - 复杂度权衡方面提供了最佳表现，突出了在实际情况下使用基于文法的方法的优点。

    Feb, 2022

  • 基于 Transformer 的端到端符号回归

    本文提出了一种挑战基于遗传编程的符号回归任务的两步法的新方法，利用 Transformer 直接预测包括常数在内的完整的数学表达式，并通过给非凸优化器提供信息化的初始化对预测的常数进行细化，实验表明该方法的效果更好，在 SRBench 基准问题上的表现接近最先进的基因编程方法，并且推断速度要快数个数量级。

    Apr, 2022

  • 深度符号回归：通过寻求风险策略梯度从数据中恢复数学表达式

    提出了利用深度学习解决符号回归的框架，该框架使用循环神经网络生成数学表达式分布，并使用新颖的风险寻求策略梯度来训练网络生成更好的拟合表达式。该算法在一系列基准问题中表现优于几种基准方法，包括符号回归的黄金标准 Eureqa。

    Dec, 2019

  • 使用 Transformers 进行数学推理系统评估的符号框架

    使用数据生成方法和符号代数，对变换器编码器的数学推理和泛化进行了 200,000 个例子的超大规模实验，并回答了变换器是否可以学习应用符号规则并推广到超出分布范围的例子。结果表明，扰动严重影响性能，并且可以将 F1 分数降至低于 17％，这表明推理主要由与数学运算的深层理解无关的表层模式所支配。

    May, 2023

  • MMSR：符号回归为多模态任务

    该研究论文提出了一种名为 MMSR 的方法，通过解决多模态对齐的对比学习问题，将纯符号回归问题转化为一个纯多模态问题，并通过模态特征融合提升了性能，实验结果表明 MMSR 在多个主流数据集上与多个大规模预训练基准模型相比取得了最先进的结果。

    Feb, 2024