通过感性偏向从深度学习中发现符号模型

Jun, 2020

通过感性偏向从深度学习中发现符号模型

Discovering Symbolic Models from Deep Learning with Inductive Biases

Miles Cranmer, Alvaro Sanchez-Gonzalez, Peter Battaglia, Rui Xu, Kyle Cranmer...

TL;DR该研究采用强归纳偏置的通用方法，将符号化表示从学习的深层模型中提取出来，应用于图神经网络。该技术可以从神经网络中提取物理方程，如力学定律和哈密顿量，并在耗费较小的计算资源上快速发现新的物理原则。

Abstract

We develop a general approach to distill symbolic representations of a learned deep model by introducing strong inductive biases. We focus on Graph Neural Networks (GNNs). The technique works as follows: we first

symbolic representations graph neural networks inductive biases symbolic regression dark matter simulation

发现论文，激发创造

使用图网络学习符号物理

本研究提出一种方法，通过对图形网络施加物理学相关的归纳偏差来学习可解释的表示，从而提高零样本泛化能力，并且实验证明我们的图形网络模型可以学习到与真实力量向量相当的消息表示。通过符号回归来拟合我们训练的模型的消息函数的显式代数方程，并恢复牛顿引力定律的符号形式，这一方法也适用于任何由图形网络学习的未知交互定律，提供了一种从深度学习中隐含的知识中解释和推断明确因果理论的有价值的技术。

Sep, 2019

用 Hamiltonian 图神经网络直接从轨迹中发现符号规律

利用哈密尔顿图神经网络 (HGNN) 直接从物理系统轨迹学习系统动力学，推断能量泛函的根本方程，并从物理系统轨迹中透明地发现相互作用定律。

Jul, 2023

将符号先验知识融入神经网络中的概念学习

通过使用元学习方法从符号贝叶斯模型的先验分布生成一组任务集，我们能够将快速概念学习所需的归纳偏倚转移到神经网络中，创造出具有对短逻辑公式表达的概念存在偏倚的神经网络，这些结果与人类表现高度一致。

Feb, 2024

将符号知识嵌入深度网络

本文提出了一种基于图嵌入网络的符号知识应用方法，该方法将命题公式 (和赋值) 通过增强的 Graph Convolutional Network (GCN) 投射到流形上。通过识别节点异质性和结构约束等技术，我们能够生成语义上忠实的嵌入，提高推理检查和视觉关系预测模型的性能。有趣的是，我们观察到命题理论表示的可处理性与嵌入的易用性之间存在一种联系。

Sep, 2019

破解哈密顿神经网络的归纳偏差

研究物理启发的神经网络的诱导偏差及其应用。表明与常规认识相反，通过直接建模加速度避免人工坐标系的人工复杂性，而不是辛结构或能量守恒，改善了 HNN 的广义性能。在实际中，通过放松这些模型的诱导偏差，可以在能量守恒系统上匹配或超过其性能，同时显著提高非守恒系统上的性能。作者将这种方法扩展到通用 Mujoco 环境的转换模型构建中，展示了我们的模型可以适当地平衡诱导偏差与需求灵活性，从而实现基于模型的控制。

Feb, 2022

隐式图神经网络

本文提出了一种名为 “Implicit Graph Neural Networks（IGNN）” 的图学习框架，其利用 Perron-Frobenius 理论来确保该框架的良好性，并利用隐式微分得到一种可行的投影梯度下降法来训练该框架，实验证明 IGNN 可以稳定捕捉长程依赖并优于现有的 GNN 模型。

Sep, 2020

将符号领域知识融入图神经网络

研究证明，通过对图形结构数据进行了解和拓展，结构化数据分析可以被大大提高。Inductive Logic Programming (ILP) 和 Graph-Based Neural Networks (GNNs) 成为图形结构数据分析上的两个主流，新兴的 Vertex-Enriched Graph Neural Networks (VEGNNs) 又进一步提高了分类性能并能够提前学习到有关联的顶点边的信息，因此在结构化数据分析中加入领域知识的时候可以考虑使用。

Oct, 2020

图神经网络的忠实和一致解释

从因果关系的角度理论分析图神经网络的预测，并提出了一种简单而有效的对齐嵌入算法来消除潜在的分布偏移对解释的影响，以优化更忠实的解释目标。

May, 2022

深度符号回归：通过寻求风险策略梯度从数据中恢复数学表达式

提出了利用深度学习解决符号回归的框架，该框架使用循环神经网络生成数学表达式分布，并使用新颖的风险寻求策略梯度来训练网络生成更好的拟合表达式。该算法在一系列基准问题中表现优于几种基准方法，包括符号回归的黄金标准 Eureqa。

Dec, 2019

学习图的深度生成模型

本文介绍了一种基于图神经网络的强大新方法，用于学习生成模型的过程中捕获图的结构和属性。实验证明，相较于不使用图结构表示的基线，我们的模型常常表现更好，是学习任意图的生成模型的第一个最通用的方法，为从矢量和序列式知识表示的限制中走向更具表现力和灵活性的关系型数据结构开辟了新方向。

Mar, 2018