May, 2024

使用惩罚最小二乘法施加形状约束的符号回归

PDF
TL;DR本文研究了在符号回归（SR）的参数估计步骤中添加形状约束及其考虑。我们提出了使用基于梯度的数值优化来最小化参数估计期间的形状约束违规。通过对合成数据集进行测试，我们评估了三种算法变体的性能，以识别出三个符号表达式。结果表明，当数据稀缺时，将形状约束融入表达式搜索特别有益。与仅在选择过程中使用形状约束相比，我们的方法在某些测试情况下显示出统计上显著的好处，而在任何情况下都没有显著恶化。
发现论文，激发创造
  • 符号回归的先验知识

    该研究论文提出一种基于 n-gram 语言模型和分数贝叶斯因子的符号回归（SR）的先验信息方法，并将其性能与文献标准以及天文学领域中的基准测试结果进行了比较。

    Apr, 2023

  • 具有物理限制条件的符号回归中的主动学习性能

    本文探讨使用进化符号回归作为方法来建议在受物理限制的主动学习环境中采集的数据，采用委员会查询的主动学习策略，物理约束提高了在极低数据条件下预测方程的质量。这些方法可以减少 SR 所需的数据，并在已知方程时达到了最先进的结果。

    May, 2023

  • 带有随机 Bernstein 多项式的形状受限回归

    使用 Bernstein 多项式和马尔可夫链蒙特卡罗方法研究了形状限制回归，包括保序回归和凹回归作为特殊情况，这些先验具有大的支持，仅选择平滑函数，可以轻松地将几何信息并入先验，并且可以在不需要计算的情况下生成。提出了生成先验和后验的算法，并进行了模拟研究以说明该方法的性能。与 Dette 等人 (2006) 的密度回归方法进行了比较。

    Aug, 2007

  • 类符号回归：全都要拟合

    引入 “类别符号回归”—— 一个首个框架，能够自动找到一个准确适用于多个数据集（每个数据集都由其可能独特的拟合参数集）的单一分析函数形式。通过应用于一系列合成玩具案例数据集，我们展示了这种新颖方法的有效性，并成功从模拟轨道（近似恒星流）的集合中提取出一个解析星系势能，展示了其在天体物理学中的实用性。

    Dec, 2023

  • 关于标签约束的正则化和推理

    在机器学习中，先验知识和符号规则通常以标签约束的形式表达，本文比较了两种常见的将标签约束编码到机器学习流程中的策略，即带约束的正则化和约束推断，并通过量化它们对模型性能的影响。通过正则化，作者表明它通过排除与约束不一致的模型来缩小泛化差距，但其偏好小违规限制了模型朝着最优模型的方向发展。另一方面，通过约束推断，作者展示了它通过修正模型的违规行为来降低总体风险，并将违规行为转化为优势。鉴于这些差异，作者进一步探索了同时使用两种方法的可能性，并提出了约束推断条件以弥补正则化引入偏差的问题，以提高模型的复杂度和最优风险。

    Jul, 2023

  • 利用形状受限制的回归样条进行推断

    本文提出了一种适用于三次单调、凸约束等变体的算法，该形状受限回归小波具有比无限制小波更小的平方误差损失，并且在实际推断方法中具有计算效率和数据自由度较小的优点。

    Nov, 2008

  • GSR: 通用符号回归方法

    介绍了一种名为 GSR 的基于遗传编程的符号回归方法，该方法通过基函数的加权和发现自变量与目标变量之间的关系，并获得了与强符号回归基准方法相当的实验性能，并引入了一种新的符号回归基准集 SymSet。

    May, 2022

  • 深度生成符号回归

    通过利用预训练的深度生成模型来捕捉方程的内在规律，本研究提出了深度生成符号回归（DGSR）框架，实现了具有更高恢复率和更高计算效率的符号回归解决方案。

    Dec, 2023

  • 上下文符号回归：利用语言模型进行函数发现

    本文研究了将预训练的大型语言模型（LLMs）整合到 Symbolic Regression（SR）流程中，利用 LLMs 依据观测数据提出可能的函数，并通过模型自身和外部优化器逐步优化，取得令人满意的结果。同时，分析了在这一背景下的视觉 - 语言模型，在输入中包含图像以辅助优化过程，研究结果显示 LLMs 能够成功恢复适合给定数据的符号方程，优于基于遗传编程的 SR 基准方法，并且将图像加入输入具有较好的效果，尤其对于复杂的基准问题。

    Apr, 2024

  • 可控神经符号回归

    本篇论文提出一种名为 NSRwH 的神经符号回归方法，能够结合用户给定的领域知识，实现精确预测表达式的结构，并在实验中表现出良好的准确性。

    Apr, 2023