Dec, 2019

符号数学的深度学习

PDF
TL;DR本文展示神经网络在数学方面的应用，如符号积分和求解微分方程。提出了一套数学问题表示法和生成大规模数据集进行序列到序列模型训练的方法，并获得了超越 Matlab 或 Mathematica 等商业计算机代数系统的结果。
发现论文，激发创造
  • 使用深度学习进行符号积分：（Lample 和 Charton，2019）综述

    该论文介绍了使用深度学习技术计算符号无限积分，以及找到解析一阶和二阶常微分方程的符号解的系统，该系统的表现在某些测试集上优于 Mathematica。

    Dec, 2019

  • 通过强化学习解决符号方程

    使用强化学习和深度神经网络自动化发现基本转换规则和逐步解决方案，解决线性方程的符号形式的范例问题。

    Jan, 2024

  • 神经网络能做算术吗？对当今深度学习模型基本数学技能的调查

    本文回顾了近年来关于深度学习在数学领域的研究，认为当前即使是最先进的深度学习模型在面对简单的数学和算术任务时也表现出较大局限性。

    Mar, 2023

  • 深度符号回归：通过寻求风险策略梯度从数据中恢复数学表达式

    提出了利用深度学习解决符号回归的框架，该框架使用循环神经网络生成数学表达式分布，并使用新颖的风险寻求策略梯度来训练网络生成更好的拟合表达式。该算法在一系列基准问题中表现优于几种基准方法，包括符号回归的黄金标准 Eureqa。

    Dec, 2019

  • 一款解决大学数学问题的 AI 程序的限制

    Drori 等人（2022 年）使用符号代数包 Sympy 而非神经网络解决了大学数学问题，并通过计划合成和少量学习回答了 81％的问题，此外，它的 “解释” 仅是代码行的改写且在某些情况下似乎使用测试语料库中给定的答案来指导其解决问题的步骤。

    Aug, 2022

  • 超越传统神经网络：通过计算逻辑技术实现推理与学习能力的增加

    提出了改善知识注入过程、将机器学习和逻辑融入多智能体系统的解决方案。

    Aug, 2023

  • 利用局部注意力和网格样问题表示发现基本计算系统的 Transformer 模型

    本文提出一种基于通用 Transformer 的深度学习模型，通过发现高效的算数程序，利用外部的网格状记忆进行多位数的加法计算，并且发掘了人类类似的计算策略，如位值对齐。

    Jul, 2022

  • 神经 Lambda 演算：神经符号 AI 遇上计算和函数编程基础

    研究使用基于 Lambda Calculus 的神经网络模型作为程序的执行方法。

    Apr, 2023

  • 包含符号层的深度神经网络中的符号正确性

    通过引入符号层，神经符号深度神经网络（NS-DNN）结合了感知和逻辑推理的人工智能任务，我们确定并形式化了一个直观的高层原则：符号正确性，该原则可以指导 NS-DNN 的设计和分析。我们证明符号正确性是 NS-DNN 可解释性和迁移学习的必要属性，并提供了一种精确推理和沟通神经符号边界上模型行为的方式，同时揭示了 NS-DNN 训练算法面临的基本权衡，并提供了支持进一步 NS-DNN 发展的框架。

    Feb, 2024

  • 简单有效的神经符号融合的转移学习

    深度学习与神经符号整合是解决深度学习普适性和推理任务的挑战，通过预训练神经模型并通过迁移学习注入感知部分的权重，可以改善当前神经符号方法中的收敛速度、复杂感知任务的学习难度和局部最小值问题。

    Feb, 2024