利用单调性约束从稀疏数据中学习

Jul, 2012

利用单调性约束从稀疏数据中学习

Learning from Sparse Data by Exploiting Monotonicity Constraints

Eric E. Altendorf, Angelo C. Restificar, Thomas G. Dietterich

TL;DR本文通过将定性单调性知识表现为概率分布约束，并将其纳入贝叶斯网络学习算法，从而改善在小规模数据训练下的准确度提升。

Abstract

When training data is sparse, more domain knowledge must be incorporated into the learning algorithm in order to reduce the effective size of the hypothesis space. This paper builds on previous work in which knowledge about qualitative monotonicities was formally represented and incorp

sparse data learning algorithm qualitative monotonicities bayesian network small training sets

发现论文，激发创造

单调学习

通过黑盒 Oracle 访问和转换算法 A，提出了将任意学习算法 A 转换为具有类似表现的单调算法的方法，并解决了多个关于单调学习算法的问题。

Feb, 2022

利用两种背景知识的半监督聚类：融合成对约束和单调性约束

本研究提出了一种新方法来解决在存在成对约束和单调性约束时执行聚类的问题，通过定义一种特定的距离测量方法并设计目标函数实现了这一目的，并使用 EM 优化算法进行优化，该方法在多个基准数据集和一个现实世界的案例中进行了测试。

Feb, 2023

基于反例引导的单调神经网络学习

本篇研究提出了一种针对深度学习的单调性约束处理技术及激活函数为 ReLU 神经网络的单调性归纳偏置技术，并实现了名为 COMET 的工具。实验结果显示，该方法与现有单调性学习器相比具有最先进的结果，并且可以提高模型质量。

Jun, 2020

单调分类：算法、性能指标和数据集综述

本文介绍了数据库中知识发现的重要性，包括分类模型学习需要满足的单调性限制，并提出了一种基于所生成模型类型的算法分类法，并综述了不同数据集和单调问题的质量评估度量。

Nov, 2018

单调性正则化：改进的惩罚及其在去耦合表示学习和强鲁棒分类中的新应用

通过使用梯度惩罚以及风险最小化，我们研究了满足不同单调性概念的预测器，介绍了一种方法来使用训练实例和随机点来扩展惩罚的范围，在不增加计算开销的同时，在图像分类和生成建模等领域实现了控制数据生成、检测异常数据和生成预测解释等的优势。

May, 2022

统计学习中的风险单调性

本文针对机器学习中数据采集的困难和对泛化理解的缺乏，提出一种风险单调且效率较高的学习算法，解决了 Viering et al. 2019 提出的风险曲线非单调性的问题，同时提出了专门针对马尔可夫差分序列等非独立同分布的过程的经验 Bernstein 集中不等式的新方法。

Nov, 2020

表达性单调神经网络

本文提出一种基于神经网络的单残差连接的加权受限架构，以实现对神经网络输入的任何子集的确切单调依赖，同时控制了神经网络的 Lipschitz 常数，从而提供了鲁棒性，该算法被用于训练强大，鲁棒和可解释的鉴别器，在多个基准测试中均取得了与当前最先进方法相媲美的性能。

Jul, 2023

单调校准插值查找表

通过学习灵活的、单调的函数以及解决凸问题的方法进行单调查找表的训练，同时积极处理连续性特征，处理分类或缺失数据，并通过并行化和小批量处理等方法实现大规模的学习，使得在实际问题上提供更高的准确性与用户可解释性。

May, 2015

如何在保持灵活性的同时在深度网络中融入单调性？

本研究提出了一种基于梯度的点损失函数，用于加强深度神经网络的学习过程， enforcing partial monotonicity，其结果显示该方法在 AUC 和单调度方面具有可比性（有时表现更好），并能够学习不同的个体趋势并产生更平滑的条件曲线，同时保留深度网络的灵活性，强调了领域知识在增强模型性能和实现可靠预测中的重要性。

Sep, 2019

具有普遍单调误差的普遍一致学习规则

我们提出了一种普遍一致的学习规则，其期望误差在每个数据分布下随样本量单调非增。该规则是一种完全确定性的、数据依赖的划分规则，使用循环顺序在任意域（标准 Borel 空间）中构建。其核心思想是只在每个步骤中对那些表现出足够经验多样性的循环区间进行划分，从而避免误差函数为凸函数的区域。

Aug, 2021