提出了一种使用符号域知识作为约束条件的新型可扩展端到端管道，用于学习神经网络以弱监督方式对未标记数据进行分类。该方法尤其适用于数据由不同组（类）组成且适合于聚类友好型表示学习的设置，并且可以通过同时考虑多个训练示例来重新制定领域约束以采用有效的数学优化技术。我们在 MNIST 图像分类问题的变体上进行了评估，其中训练示例由图像序列和表示序列中数字的总和组成，并且表明我们的方法比先前依赖于计算每个训练示例的所有约束满足组合的方法具有更大的可扩展性。

Jan, 2023

本研究提出了一种基于约束学习的半监督学习方法，利用黑盒模拟器生成未标记数据进行训练并通过对抗训练实现生成模型的训练，提高模型在多种任务上的表现。

May, 2018

本文首次综述了将领域知识作为约束条件融入深度学习 (DL) 学习模型的方法，以提高其性能，并针对深度神经网络提出了五种主要的方法，包括特征空间操作、假设空间修改、数据扩增、正则化策略和受约束的学习。

May, 2020

本文提供了一种训练神经网络的方法，用于满足各种领域约束。该方法将线性模型学习的思路引入神经网络，并添加了关键的约束传播和基于梯度下降和 CSP 求解的权重更新。实验结果表明，该方法足够灵活，可以保证满足神经网络中的广泛分布的约束。

Mar, 2023

利用物理学基础知识作为先验知识，通过将物理学基础知识注入到神经网络结构中，从轨迹数据中学习动力学模型，并在模型的训练过程中通过增广拉格朗日法强制实施物理学知识约束，实验证明该做法比不包括先验知识的基线方法在相同的训练数据集上能够将系统动力学预测准确率提升两个数量级。

Sep, 2021

本文介绍了一种通用的框架，用于在没有监督的情况下对深度网络进行端对端训练，通过固定一组目标表示并约束其深度特征对齐到这些表示来达到目的，同时采用了随机批量重新分配策略和可分离的平方损失函数来缓解标准无监督学习中的一些问题，并且在 ImageNet 和 Pascal VOC 上能够实现与最先进的无监督方法相媲美的表现。

Apr, 2017

我们提出了一种新的神经网络家族，通过学习基础约束条件来预测物理系统的行为，其中我们的神经投影算子是核心，可以自动有效地发现各种约束条件，并预测不同物理系统的管辖行为。

Jun, 2020

本文提出一种深度监督方法，通过利用中间概念对 CNN 的隐藏层进行监督，将先前的领域结构融入到神经网络训练中，显著提高了推广能力。该方法还可以仅使用合成场景来训练，并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。

Jan, 2018

本文提出一种基于不等式约束的 CNN 弱监督分割方法，通过引入可微分约束惩罚项，使训练过程中的非标注数据指导网络的学习，经实验证明该方法相比于先前研究的 Lagrangian 方法能够更加优化，并降低了训练过程的计算复杂度。

May, 2018

本文提出了一种 guided labeling 方法，可以自动确定从未标记的数据集中应该标记哪些样本，从而显著地减少了需要手动标记的样本数量。

Dec, 2017