基于反例引导的单调神经网络学习

Jun, 2020

基于反例引导的单调神经网络学习

Counterexample-Guided Learning of Monotonic Neural Networks

Aishwarya Sivaraman, Golnoosh Farnadi, Todd Millstein, Guy Van den Broeck

TL;DR本篇研究提出了一种针对深度学习的单调性约束处理技术及激活函数为 ReLU 神经网络的单调性归纳偏置技术，并实现了名为 COMET 的工具。实验结果显示，该方法与现有单调性学习器相比具有最先进的结果，并且可以提高模型质量。

Abstract

The widespread adoption of deep learning is often attributed to its automatic feature construction with minimal inductive bias. However, in many real-world tasks, the learned function is intended to satisfy domai

deep learning monotonicity constraints inductive bias relu neural networks comet

发现论文，激发创造

约束单调神经网络

本文采用原始激活函数和其点反射组合建立单调深度神经网络，实现最少参数，无需修改学习流程或后续步骤，在精度方面表现优异。

May, 2022

表达性单调神经网络

本文提出一种基于神经网络的单残差连接的加权受限架构，以实现对神经网络输入的任何子集的确切单调依赖，同时控制了神经网络的 Lipschitz 常数，从而提供了鲁棒性，该算法被用于训练强大，鲁棒和可解释的鉴别器，在多个基准测试中均取得了与当前最先进方法相媲美的性能。

Jul, 2023

无约束单调神经网络

该研究提出了一种无限制单调神经网络（UMNN）架构，基于函数导数严格为正，进而在自回归流中实现密度估计实验，并展示了 UMNN 提高变分推断的能力。

Aug, 2019

如何在保持灵活性的同时在深度网络中融入单调性？

本研究提出了一种基于梯度的点损失函数，用于加强深度神经网络的学习过程， enforcing partial monotonicity，其结果显示该方法在 AUC 和单调度方面具有可比性（有时表现更好），并能够学习不同的个体趋势并产生更平滑的条件曲线，同时保留深度网络的灵活性，强调了领域知识在增强模型性能和实现可靠预测中的重要性。

Sep, 2019

深层格网络和局部单调函数

通过交替使用线性嵌入层、格子集合和校准器（分段线性函数）构建具有单调性的深度模型，使用 TensorFlow 实现，并使用 ADAM 优化器和随机梯度下降方法，实验结果表明，六层的单调深度格子网络在分类和回归问题上的性能都达到了最先进的水平。

Sep, 2017

利用单调性约束从稀疏数据中学习

本文通过将定性单调性知识表现为概率分布约束，并将其纳入贝叶斯网络学习算法，从而改善在小规模数据训练下的准确度提升。

Jul, 2012

单调性正则化：改进的惩罚及其在去耦合表示学习和强鲁棒分类中的新应用

通过使用梯度惩罚以及风险最小化，我们研究了满足不同单调性概念的预测器，介绍了一种方法来使用训练实例和随机点来扩展惩罚的范围，在不增加计算开销的同时，在图像分类和生成建模等领域实现了控制数据生成、检测异常数据和生成预测解释等的优势。

May, 2022

单调学习

通过黑盒 Oracle 访问和转换算法 A，提出了将任意学习算法 A 转换为具有类似表现的单调算法的方法，并解决了多个关于单调学习算法的问题。

Feb, 2022

使用 ICEnet 的神经网络平滑性和单调性约束

本研究提出了一种称为 ICEnet 的新型方法，用于在深度神经网络模型中实施约束，并展示了真实世界数据集的示例应用。

May, 2023

使得学习者 (更) 单调

提出了三种算法，使监督学习模型呈现更加单调的性能表现，其中算法 MT_HT 将 MNIST 数据集上的非单调决策控制在 1% 以下，并在误差率上保持与其他基线模型的竞争力。

Nov, 2019