Jul, 2023
通过直通估计器将逻辑约束注入神经网络
Injecting Logical Constraints into Neural Networks via Straight-Through Estimators
Zhun Yang, Joohyung Lee, Chiyoun Park
TL;DR将离散逻辑约束注入神经网络学习是神经符号人工智能领域的主要挑战之一。本文发现，直通估算器这一用于训练二进制神经网络的方法可有效应用于将逻辑约束纳入神经网络学习中。我们设计了一种系统的方式将离散逻辑约束表示为一个损失函数；通过梯度下降，利用直通估算器最小化该损失函数可以使得神经网络的权重朝着使二值化输出满足逻辑约束的方向更新。实验结果表明，通过利用 GPU 和批次训练，这种方法比现有的需要进行大量符号计算来计算梯度的神经符号方法具有更好的可扩展性。此外，我们证明了该方法适用于不同类型的神经网络，如多层感知机（MLP）、卷积神经网络（CNN）和图神经网络（GNN），使它们能够通过直接从已知约束中学习来学习了无标签数据或更少标签数据。