一种新的计算简单的实现神经网络的方法：带有输出硬约束

Jul, 2023

一种新的计算简单的实现神经网络的方法：带有输出硬约束

A New Computationally Simple Approach for Implementing Neural Networks with Output Hard Constraints

Andrei V. Konstantinov, Lev V. Utkin

TL;DR提出了一种在神经网络输出值上施加硬凸约束的计算上简单的方法，通过附加神经网络层来实现对隐藏参数向量映射到约束集合中的点，并简单地扩展到对输入进行约束的情况，展示了如何将不同类型的约束集成到提出的方法中，包括线性、二次、相等和动态约束以及边界的约束。算法的重要特点是其计算简单性。

Abstract

A new computationally simple method of imposing hard convex constraints on the neural network output values is proposed. The key idea behind the method is to map a vector of hidden parameters of the network to a

convex constraints neural network feasible set projection approach computational simplicity

发现论文，激发创造

神经网络激活的齐次线性不等式约束

本文提出了一种方法来在神经网络激活中施加均匀的线性不等式约束，以结合数据驱动的训练方法和先前任务的先验知识。该算法可在测试时间内显著加速推理速度，并避免了在每个训练步骤中求解优化问题或手动调整超参数。该方法通过约束变分自编码器进行实验演示。

Feb, 2019

深度网络上强制加入硬限制：承诺与局限

本文介绍了如何在深度神经网络中实施硬约束来提高预测质量，并通过与软约束相比的实验结果证明了软约束比硬约束更加有效。

Jun, 2017

用神经投影学习物理约束

我们提出了一种新的神经网络家族，通过学习基础约束条件来预测物理系统的行为，其中我们的神经投影算子是核心，可以自动有效地发现各种约束条件，并预测不同物理系统的管辖行为。

Jun, 2020

基于统一学习算法形式化的带输出约束的分析

我们对神经网络模型学习算法进行了分类，并提出了一种新的算法来整合主任务信息和约束注入，同时提出了 $Heta$-score 作为度量主任务度量和约束违规的指标，在自然语言推理、合成传导示例和语义角色标记等自然语言处理任务上探索和揭示了各种算法达到高 $Heta$-scores 的关键因素。

Jun, 2024

输入凸神经网络

本文介绍了输入凸性神经网络的架构和方法，通过网络参数的约束使得神经网络输出成为输入的凸函数，实现了高效的推理、优化和学习，在多标签预测、图像完成和强化学习等方面具有更好的性能表现。

Sep, 2016

RAYEN: 对神经网络强制采用硬凸约束

本文介绍了 RAYEN 框架，该框架能够在神经网络的输出或潜变量上施加硬凸约束，支持任意线性、凸二次、二阶锥和线性矩阵不等式约束，有效提高了性能并保证在所有时刻满足约束条件

Jul, 2023

凸神经网络的奇特案例

本文研究基于凸性的神经网络架构和其对泛化能力和过度拟合的影响，限制权重为非负并使用非递减凸激活函数可以让神经网络自我正则化，克服过度拟合问题，提高性能在图像分类方面的实验表明了这种方法的有效性。

Jun, 2020

带任意微分阶硬约束的神经场

本文提出了一种基于 Meshless 插值和谱协方差方法的约束神经场方法，针对深度神经网络优化问题中缺乏硬性约束优化的现状，其约束可以具体指定为应用于神经场及其导数的线性算子，并展示了其在许多实际应用中的实验效果和高效的模型约束陈述框架。

Jun, 2023

深度神经网络输出范围分析

该论文研究了深度神经网络的输出范围估计问题，提出了一种基于局部搜索和线性规划的高效算法来找到神经网络在给定输入集上的最大和最小值，这种方法在自动控制和分类中都具有良好的验证效果。

Sep, 2017

神经网络仿真物理系统时施加分析约束

本研究介绍了一种将非线性分析约束条件通过网络架构或损失函数施加在神经网络上的方法，应用于气候建模中的混合过程，可以确保精度且不影响性能，同时也减少与约束条件相关的输出错误。

Sep, 2019