Sep, 2019

如何在保持灵活性的同时在深度网络中融入单调性？

PDF
TL;DR本研究提出了一种基于梯度的点损失函数，用于加强深度神经网络的学习过程， enforcing partial monotonicity，其结果显示该方法在 AUC 和单调度方面具有可比性（有时表现更好），并能够学习不同的个体趋势并产生更平滑的条件曲线，同时保留深度网络的灵活性，强调了领域知识在增强模型性能和实现可靠预测中的重要性。
domain knowledgemodel performancemonotonic trendsgradient-based loss functiondeep neural networks
发现论文，激发创造
  • 基于反例引导的单调神经网络学习

    本篇研究提出了一种针对深度学习的单调性约束处理技术及激活函数为 ReLU 神经网络的单调性归纳偏置技术，并实现了名为 COMET 的工具。实验结果显示，该方法与现有单调性学习器相比具有最先进的结果，并且可以提高模型质量。

    Jun, 2020

  • 深层格网络和局部单调函数

    通过交替使用线性嵌入层、格子集合和校准器（分段线性函数）构建具有单调性的深度模型，使用 TensorFlow 实现，并使用 ADAM 优化器和随机梯度下降方法，实验结果表明，六层的单调深度格子网络在分类和回归问题上的性能都达到了最先进的水平。

    Sep, 2017

  • 约束单调神经网络

    本文采用原始激活函数和其点反射组合建立单调深度神经网络，实现最少参数，无需修改学习流程或后续步骤，在精度方面表现优异。

    May, 2022

  • 单调性正则化：改进的惩罚及其在去耦合表示学习和强鲁棒分类中的新应用

    通过使用梯度惩罚以及风险最小化，我们研究了满足不同单调性概念的预测器，介绍了一种方法来使用训练实例和随机点来扩展惩罚的范围，在不增加计算开销的同时，在图像分类和生成建模等领域实现了控制数据生成、检测异常数据和生成预测解释等的优势。

    May, 2022

  • 表达性单调神经网络

    本文提出一种基于神经网络的单残差连接的加权受限架构，以实现对神经网络输入的任何子集的确切单调依赖，同时控制了神经网络的 Lipschitz 常数，从而提供了鲁棒性，该算法被用于训练强大，鲁棒和可解释的鉴别器，在多个基准测试中均取得了与当前最先进方法相媲美的性能。

    Jul, 2023

  • 如何解决模型风险管理中的单调性问题？

    本文研究基于单调性建立透明机器学习模型的可信度和公平性问题。研究了如何在保持透明性的情况下提高单调性，并提出了神经加性模型的单调树林方法。实验证明，实践中常常违反单调性，但采用单调树林的神经加性模型具有透明性，可信度和公平性。

    Apr, 2023

  • 通过可学习的单调逐点非线性性消除 Softmax 瓶颈

    提出一种在 softmax 函数之上学习参数单调函数的方法，理论上和实验上都优于传统的 line-softmax 方法，在自然语言模型的应用方面具有潜在的可拓展性。

    Feb, 2019

  • 偏向于单调性的 Transformer 注意力

    本文研究自然语言处理中序列到序列任务的单调注意力特性，并介绍了一种与标准注意力机制兼容的单调损失函数，经过实验表明可以在一定程度上实现单调性，但性能的提升并不是非常显著。

    Apr, 2021

  • 利用单调性约束从稀疏数据中学习

    本文通过将定性单调性知识表现为概率分布约束，并将其纳入贝叶斯网络学习算法，从而改善在小规模数据训练下的准确度提升。

    Jul, 2012

  • 神经网络损失函数中单调线性插值的分析

    通过分析神经网络的初始参数和训练后的参数之间的线性插值关系，本文首次给出了神经网络训练中的单调线性插值（MLI）现象，通过利用微分几何理论，提供了 MSE 中 MLI 出现的充分条件，并发现了当网络权重远离初始化时，将出现违反 MLI 现象的情况。

    Apr, 2021