无约束单调神经网络
本文提出一种基于神经网络的单残差连接的加权受限架构,以实现对神经网络输入的任何子集的确切单调依赖,同时控制了神经网络的 Lipschitz 常数,从而提供了鲁棒性,该算法被用于训练强大,鲁棒和可解释的鉴别器,在多个基准测试中均取得了与当前最先进方法相媲美的性能。
Jul, 2023
本文提出一种改进的 min-max 网络架构,使用严格单调递增光滑非线性函数来缓解梯度消失问题,以支持计算机辅助决策中的公平性,并在数据驱动的科学模型中增加可信度,其性能表现优于其他神经网络和非神经网络方法。
Jun, 2023
本篇研究提出了一种针对深度学习的单调性约束处理技术及激活函数为 ReLU 神经网络的单调性归纳偏置技术,并实现了名为 COMET 的工具。实验结果显示,该方法与现有单调性学习器相比具有最先进的结果,并且可以提高模型质量。
Jun, 2020
本文介绍了一种基于积分的新方法,称为 “Atomic Unrestricted Time Machine (AUTM)”,该方法采用无限制的积分变换和易于计算的显式逆变换,用于实现具有显式逆变换和无限函数类或参数的归一化流的设计。理论上,我们提出了一个构造证明,证明了 AUTM 是通用的:所有单调归一化流都可以被视为 AUTM 流的极限。我们提供了一个具体的例子,展示如何使用 AUTM 流逼近任何给定的单调归一化流,并保证收敛。该方法的性能在高维密度估计、变分推断和图像生成上进行了评估。实验表明,AUTM 方法具有更快的速度和内存效率。
Jun, 2022
该论文提出了一种灵活的框架,将因子图和神经网络的代表性强项结合起来,形成了一种能够在任何顺序下执行计算的不定向神经网络(UNNs),并证明了 UNNs 体系结构的有效性,包括树约束依赖关系分析、卷积图像分类和序列完成等任务。
Feb, 2022
本研究提出了一种利用高斯噪声从任何光滑单调激活函数创建随机单元的拉普拉斯近似,研究了该随机近似在训练一类与 Bregman 散度密切相关的 Restriced Boltzmann Machines 表现良好。我们称此类为指数族 RBM(Exp-RBM),该方法相比对比散度可以使用新颖的随机单元学习到有效的特征表示。
Jan, 2016
通过对梯度数据和卷积神经网络块的总和施加单调性约束,本研究旨在放松对卷积神经网络块的约束以提高性能,并仅将算子在图像流形附近的局部邻域内保持单调性约束,从而实现从稀疏测量恢复磁共振图像的创新方法。
Dec, 2023
本文提出了一种名为 LipVor 的新算法,用于通过有限数量的评估来验证黑盒模型,例如人工神经网络(ANN),是否在部分区域上是单调增的。与先前的方法相比,我们的方法能够在不需要受限的 ANN 架构或分段线性激活函数的情况下,数学上验证 ANN 是否部分单调增,从而扩展了在某些关键领域中使用不受限制的 ANN 的可能性。此外,ANN 的其他属性,例如凸性,也可以被形式化为正性条件,因此 LipVor 也可以应用于此。
Jun, 2024
通过 Fourier 分片定理、Radon 变换和 Parseval 关系,证明了带无界激活函数的神经网络仍然满足通用逼近性质,并且表明在反向传播后,Ridgelet 变换或 Radon 域中的反投影滤波器是神经网络学习到的内容。
May, 2015