Mar, 2023

DeepSaDe：学习保证域约束满足的神经网络

PDF
TL;DR本文提供了一种训练神经网络的方法，用于满足各种领域约束。该方法将线性模型学习的思路引入神经网络，并添加了关键的约束传播和基于梯度下降和 CSP 求解的权重更新。实验结果表明，该方法足够灵活，可以保证满足神经网络中的广泛分布的约束。
发现论文，激发创造
  • 基于物理和领域知识的无标签神经网络监督

    本研究提出了一种新的神经网络监督方法，它通过指定输出空间上应该保持的约束条件来监督神经网络。这些约束条件是从先前的领域知识中派生出来的，并能够在真实世界和计算机仿真视觉任务中有效地训练卷积神经网络，减少了对已标注的训练数据的需求，但对正确编码先前的知识引入了新的挑战。

    Sep, 2016

  • PDP: 一个通用的神经网络框架，用于学习约束满足求解器

    本论文提出了一种基于图神经网络的通用框架，可用于以完全无监督的方式通过能量最小化解决 CSP 问题，并通过在图模型中传播、减少和预测的方法学习搜索策略，从而比现有的神经网络和基线模型更有效地解决 SAT 问题。

    Mar, 2019

  • 基于约束的领域知识提升深度学习模型：简要综述

    本文首次综述了将领域知识作为约束条件融入深度学习 (DL) 学习模型的方法，以提高其性能，并针对深度神经网络提出了五种主要的方法，包括特征空间操作、假设空间修改、数据扩增、正则化策略和受约束的学习。

    May, 2020

  • 一个模型，适用于任何 CSP: 图神经网络作为快速全局搜索启发式算法用于约束满足

    提出了一种通用的图神经网络架构，该架构可以作为任何约束满足问题的端到端搜索启发式进行训练。该方法基于一种新颖的 CSP 图形表示，可以以纯数据驱动的方式为任何 CSP 生成问题特定的启发式，对于从随机数据中学习启发式，该方法在已知的 CSP 上优于以前的 RL 方法，并且可以与传统搜索启发式竞争或更好地处理结构更为复杂的测试实例。

    Aug, 2022

  • 基于约束的图网络模拟器

    本文介绍了一个基于约束的机器学习模拟框架，使用图神经网络实现约束函数，并通过求解优化问题计算未来预测，可应用于多种具有挑战性的物理领域，提供了传统模拟和数值方法的归纳偏差。

    Dec, 2021

  • 最大约束满足的图神经网络

    提出了一种解决组合优化问题的图神经网络体系结构，可运用于所有二元约束满足问题的训练，无监督训练，性能非常优秀。尽管是通用的，但其性能可超过大多数贪心和半定编程算法，有时甚至优于特定问题的最优启发式算法。

    Sep, 2019

  • 通过定制损失函数获取约束的深度神经网络

    使用基于深度神经网络和符号回归的新方法，可以直接从数据集中提取约束条件。该方法可以实现约束条件的直接表达，并可与其他框架进行扩展和连接。

    Mar, 2024

  • 利用二次约束和半定规划进行神经网络的安全验证和鲁棒性分析

    通过半定规划的框架来解决对于神经网络在输入不确定性和对抗攻击下的安全性和强鲁棒性认证的问题，通过抽象出激活函数的各种性质，分析其安全性质，解决了保守性和计算效率的平衡问题，并且可以应用于安全认证以外的问题。

    Mar, 2019

  • 神经符号模型对自然限制的保证一致性

    本研究提出了一种基于神经符号模型的方法，可以实现对模型的确定性接纳，并在三项案例中进行了实验验证。

    Dec, 2022

  • 基于领域约束的弱监督学习可扩展技术

    提出了一种使用符号域知识作为约束条件的新型可扩展端到端管道，用于学习神经网络以弱监督方式对未标记数据进行分类。该方法尤其适用于数据由不同组（类）组成且适合于聚类友好型表示学习的设置，并且可以通过同时考虑多个训练示例来重新制定领域约束以采用有效的数学优化技术。我们在 MNIST 图像分类问题的变体上进行了评估，其中训练示例由图像序列和表示序列中数字的总和组成，并且表明我们的方法比先前依赖于计算每个训练示例的所有约束满足组合的方法具有更大的可扩展性。

    Jan, 2023