神经网络激活的齐次线性不等式约束
提出了一种在神经网络输出值上施加硬凸约束的计算上简单的方法，通过附加神经网络层来实现对隐藏参数向量映射到约束集合中的点，并简单地扩展到对输入进行约束的情况，展示了如何将不同类型的约束集成到提出的方法中，包括线性、二次、相等和动态约束以及边界的约束。算法的重要特点是其计算简单性。
Jul, 2023
本研究提出了一种变分框架来学习深度神经网络的激活函数，旨在增加网络的容量并控制输入输出关系的 Lipschitz 常数的上界，其中引入了线性 Lipschitz 常数的全局界限和一个基于级联线性激活函数的无穷维度变分问题，通过在激活参数上实施 l1 约束来减少了问题的维度，从而获得了稀疏的非线性激活函数，并在标准 ReLU 网络及其变化 PReLU 和 LeakyReLU 上进行了实验验证。
Jan, 2020
本研究介绍了一种将非线性分析约束条件通过网络架构或损失函数施加在神经网络上的方法，应用于气候建模中的混合过程，可以确保精度且不影响性能，同时也减少与约束条件相关的输出错误。
Sep, 2019
本文提出一种基于不等式约束的 CNN 弱监督分割方法，通过引入可微分约束惩罚项，使训练过程中的非标注数据指导网络的学习，经实验证明该方法相比于先前研究的 Lagrangian 方法能够更加优化，并降低了训练过程的计算复杂度。
May, 2018
在本文中，我们首先识别到神经网络中的激活偏移现象，通过线性约束权重（LCW）来减小激活偏移，研究了减小激活偏移对神经网络中变量方差的影响，并讨论其与梯度消失问题的关系。实验结果表明，LCW 能够通过解决梯度消失问题有效地训练具有 sigmoid 激活函数的深度前馈网络，并结合批标准化能够改善前馈和卷积网络的泛化性能。
Mar, 2024
研究神经网络单隐层的一般化性能，使用非欧几里得正则化工具，证明了它们适应未知的线性结构，而使用稀疏感应规范则可以实现高维非线性变量选择，提供了简单的几何解释，并提供了一些凸松弛的简单条件来实现相同的一般化误差界限，留下存在或不存在多项式时间算法的问题。
Dec, 2014
提出了一种用于深度神经网络（DNNs）的新颖正则化方法，将训练过程视为约束优化问题，利用随机增广拉格朗日乘子法（SAL）实现更灵活高效的正则化机制，对白盒模型进行改进以确保可解释性，实验证明该方法在图像分类任务上实现了更高的准确度并具有更好的约束满足性，从而展示其在受限设置下优化 DNNs 的潜力。
Oct, 2023
本文提出一种新型的神经网络构架，利用基于惩罚项的训练问题来编码激活函数，这种框架可以被应用于 block-coordinate descent 算法中，该算法可以在每次迭代中通过并行化数据点和 / 或层数来解决简单（没有隐藏层）的监督学习问题，实验结果表明该方法为标准神经网络提供了极佳的初始权重估计，并且对于使用参数优化激活函数、对抗噪声数据的拓展也提供了思路。
May, 2018
通过使用一种简单的搜索方法，精心地根据最先进的算法配置技术调整给定的验证问题，我们提出了一种新颖的参数搜索方法来改进这些线性逼近的质量，进而在几个常用的本地鲁棒性验证基准上平均提高了 25% 的全局下界。
Jun, 2024