使用 SATNet 学习对称规则
通过可区分性学习生成可解释和可验证的逻辑规则,该方法通过最大可满足性求解器(SATNet)学习可解释的逻辑规则,并引入验证技术进行验证,从而实现了逻辑推理和深度学习的交互。
Oct, 2023
SATNet 是一个奖 - winning 的 MAXSAT 求解器,可以用来推断逻辑规则并作为深度神经网络中的可微分层。本文通过展示,在缺乏标识个别数独数字图像及其逻辑表示的中间标签的情况下,SATNet 在视觉数独上彻底失败(0%的测试准确性),澄清了 SATNet 的能力。一般来说,这个失败可以归因于 SATNet 无法学会将符号分配给感知现象,也就是所谓的符号基础问题,这被认为是智能代理执行真实世界逻辑推理的先决条件。我们提出了基于 MNIST 的测试,作为符号基础问题的简单实例,可以作为可微分符号求解器的健全性检查。对于这个测试的 SATNet 的朴素应用导致性能比没有逻辑推理能力的模型更差。我们报告了 SATNet 失败的原因以及如何防止它们。
Dec, 2023
本文提出了一种新的路线,即通过引入可微(平滑)的最大可满足性(MAXSAT)求解器,将逻辑推理纳入更大的深度学习系统的循环中,从而在端到端学习系统中学习有挑战性的问题的逻辑结构,表现出集成逻辑结构于深度学习的潜力。
May, 2019
通过梯度下降,我们研究了学习等变神经网络的问题。尽管已知的问题对称(“等变性”)被纳入神经网络中,经验上改善了从生物学到计算机视觉等领域的学习流程的性能,但是一项有关学习理论的研究表明,在相关统计查询模型(CSQ)中,实际学习浅层全连接(即非对称)网络的复杂度呈指数级增长。在这项工作中,我们提出了一个问题:已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难?我们的答案是否定的。特别地,我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界,这些下界在相关输入维度中都以超多项式或指数级增长。因此,尽管通过对称性注入了显著的归纳偏差,但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。
Jan, 2024
本研究提出了 G2SAT 这一深度生成式框架,可以学习从输入公式集生成满足真实世界 SAT 实例特征的 SAT 公式,旨在扩展现有的数据集,为 SAT 求解器的性能提供优化方案。
Oct, 2019
提出一种方法来提取神经网络学习的对称性并评估网络对其的不变性程度。结果表明网络的对称性普遍存在于不同的结构中,但学习到的对称性质量取决于深度和参数数量。
Oct, 2022
本论文介绍了 Sym-NET,这是第一个用于检测深度学习神经网络的反射和旋转对称性的模型,在人类感知的对称性、基于图像的计算机视觉竞赛中获得了最佳表现。
Apr, 2017
介绍了一种名为 NSNet 的神经网络模型,通过使用一种新型的图神经网络 (GNN) 在潜在空间中对 BP 进行参数化,可以灵活配置以解决 SAT 和 #SAT 问题。
Nov, 2022