本研究介绍了第一种使用大规模预训练的符号回归方法，通过生成一组不受限方程式并使用 Transformer 预测输入输出对应的符号方程，提高了方程式发现的效率和准确性。

Jun, 2021

本文研究利用 Transformers 模型推断整数或浮点数序列中函数或递归关系，模型在 OEIS 子集数据集上表现良好，并能够生成有关未知函数或常数的近似。

Jan, 2022

这篇研究论文介绍了一种新的 Transformer 模型，用于符号回归（Symbolic Regression）特别关注其在科学发现领域的应用。我们提出了三种不断增加灵活性的编码器架构，但代价是列置换等变性的破坏。训练结果表明，最灵活的架构能够防止过拟合。经过训练后，我们应用最佳模型到符号回归科学发现数据集（SRSD 数据集），使用归一化的基于树的编辑距离获得了最新的结果，而且不需要额外的计算成本。

Dec, 2023

我们对新兴的符号回归系统进行测试，使用端到端的转换器模型与基于遗传编程的传统方法进行比较，结果表明传统的遗传编程方法仍然优于最近发表的两种符号回归方法。

Jun, 2024

提出了利用深度学习解决符号回归的框架，该框架使用循环神经网络生成数学表达式分布，并使用新颖的风险寻求策略梯度来训练网络生成更好的拟合表达式。该算法在一系列基准问题中表现优于几种基准方法，包括符号回归的黄金标准 Eureqa。

Dec, 2019

使用数据生成方法和符号代数，对变换器编码器的数学推理和泛化进行了 200,000 个例子的超大规模实验，并回答了变换器是否可以学习应用符号规则并推广到超出分布范围的例子。结果表明，扰动严重影响性能，并且可以将 F1 分数降至低于 17％，这表明推理主要由与数学运算的深层理解无关的表层模式所支配。

May, 2023

提出了一种基于变压器（Transformer）的符号回归规划策略（TPSR），它融合了蒙特卡罗树搜索，允许将准确性和复杂性等非可微反馈信息整合到方程生成过程中，并且在多个数据集上进行的广泛实验表明，TPSR 方法优于现有的方法。

Mar, 2023

本研究提出了一种通过计算机视觉构建符号表达式变换器来解决基于样本的符号回归模型的通用性和效率受限的问题，并在一个不重复数据集上进行了测试。

May, 2022

符号回归（SR）方法尝试学习近似解释观察系统行为的数学表达式。本文提出了一种可解释的神经 SR 方法，生成用于解释每个变量如何影响系统响应的单变量符号骨架。通过分析多组人工生成的数据，其中一个输入变量变化而其他变量保持固定，为每个输入变量分别建模关系。利用回归神经网络（NN）估计这样的人工数据集的响应。最后，经过预训练的多集合变换器处理多组输入 - 响应对，解决了我们称之为多集合骨架预测的问题，并输出了单变量符号骨架。因此，这些骨架代表了回归 NN 逼近的函数的解释。实验结果表明，该方法能够学习到匹配基本函数的骨架表达式，并胜过两种基于遗传算法和两种神经 SR 方法。

Jun, 2024

使用变压器架构生成、评估和训练数学表达式，将其作为字符级序列转换任务进行分析，建立在关注机制上的编码器和解码器上。三个模型分别被训练在数学符号变量和表达式的理解和评估上，最终达到了测试准确率高达 76.1%、78.8% 和 84.9%。

Dec, 2018