May, 2023

利用 FPGA 进行符号回归用于快速机器学习推理

PDF
TL;DR本篇论文提出一种利用符号回归技术和 FPGA 实现的机器学习模型优化算法，成功地将一个由 3 层神经元组成的模型大幅优化，准确率超过 90%，执行时间缩短了 13 倍。
high-energy physicsmachine learningfpgassymbolic regressionoptimization
发现论文，激发创造
  • GFN-SR: 基于生成流网络的符号回归

    用深度学习提出的 GFN-SR 框架在符号回归中模拟表达树的构建，通过学习一个随机策略来顺序生成这些树，这种方法能够生成多样的最佳拟合表达式，在噪声数据环境下优于其他符号回归算法。

    Dec, 2023

  • 符号回归作为机器学习和深度学习的回归任务特征工程方法

    本研究提出将符号回归作为特征工程步骤与机器学习模型结合，通过在合成和真实物理相关数据集上进行大量实验，实证了 SR 派生特征的融合显著提高了机器学习和深度学习回归模型的预测能力，合成数据集 RMSE 有 34-86% 的改进，真实数据集有 4-11.5% 的改进，同时还在基于 Eliashberg 理论的超导临界温度预测中取得了 20% 以上的 RMSE 改进，这些结果突出了 SR 作为数据驱动模型特征工程组件的潜力。

    Nov, 2023

  • 深度生成符号回归

    通过利用预训练的深度生成模型来捕捉方程的内在规律，本研究提出了深度生成符号回归（DGSR）框架，实现了具有更高恢复率和更高计算效率的符号回归解决方案。

    Dec, 2023

  • 贝叶斯符号回归

    本文提出了一种新的基于贝叶斯的符号回归 (SR) 方法，通过添加先验知识，控制复杂度，并利用马尔可夫链蒙特卡罗方法从后验分布中采样符号树，从而提高 SR 模型的可解释性和准确性。与遗传编程相比，该方法更节省计算机内存。

    Oct, 2019

  • 基于神经引导动态符号网络的数学表达式探索

    我们提出了 DySymNet，这是一个新颖的神经引导的动态符号网络，用于符号回归。通过对各种结构进行优化，我们能够更好地识别与数据更匹配的表达式，在低维和高维问题中都能取得卓越的性能。

    Sep, 2023

  • 使用 PySR 和 SymbolicRegression.jl 进行可解释的机器学习科学

    PySR 是一种旨在发现可解释的符号模型的实用符号回归的开源库，其后端基于 Julia 库 SymbolicRegression.jl，具有多种功能，包括自动微分和将表达式分发到整个集群中的数千个内核，同时我们引入了 “EmpiricalBench” 这种新的基准来衡量其在科学领域中的适用性。

    May, 2023

  • 重新思考符号回归数据集和基准，以促进科学发现

    本研究重新审视了 Symbolic Regression 的数据集和评估标准，旨在探讨其在科学探索中的潜力。我们基于现有物理学讲义上的一组公式重建了 120 个数据集，为每个数据集设计了合理的取样范围，并提出使用标准化编辑距离作为评价指标。通过对五种最先进的 SR 方法和一种基于 Transformer 结构的简单基准线进行实验，结果表明我们提供了更现实的性能评估，并为开展基于机器学习的科学发现打开了新的思路。

    Jun, 2022

  • 使用修剪可微程序符号回归求解偏微分方程

    该研究介绍了一种终端到端框架，用于获得解决 PDE 的数学表达式，并使用训练有素的 PINN 生成数据集，使用文法来描述符号表达式空间，并使用 DPA 对其进行修剪以提高可解释性。平均而言，修剪使 DPA 的参数减少 95.3％，同时保持与 PINN 相同的准确性，而且平均而言，修剪将 DPA 的准确性提高了 7.81％。此外，该框架在复杂的 PDE 系统上表现优于现有的 SR 解算器。

    Mar, 2023

  • 可控神经符号回归

    本篇论文提出一种名为 NSRwH 的神经符号回归方法，能够结合用户给定的领域知识，实现精确预测表达式的结构，并在实验中表现出良好的准确性。

    Apr, 2023

  • 基于 Transformer 的符号回归规划

    提出了一种基于变压器（Transformer）的符号回归规划策略（TPSR），它融合了蒙特卡罗树搜索，允许将准确性和复杂性等非可微反馈信息整合到方程生成过程中，并且在多个数据集上进行的广泛实验表明，TPSR 方法优于现有的方法。

    Mar, 2023