单调校准插值查找表
通过交替使用线性嵌入层、格子集合和校准器(分段线性函数)构建具有单调性的深度模型,使用 TensorFlow 实现,并使用 ADAM 优化器和随机梯度下降方法,实验结果表明,六层的单调深度格子网络在分类和回归问题上的性能都达到了最先进的水平。
Sep, 2017
本篇研究提出了一种针对深度学习的单调性约束处理技术及激活函数为 ReLU 神经网络的单调性归纳偏置技术,并实现了名为 COMET 的工具。实验结果显示,该方法与现有单调性学习器相比具有最先进的结果,并且可以提高模型质量。
Jun, 2020
本文提出了一种新的矩阵补全方法,该方法通过低秩矩阵估计和单调函数估计之间的交替来估计缺失的矩阵元素,可应对非线性变换带来的挑战,并在合成和真实数据集上展示了竞争性的结果。
Dec, 2015
该论文从线性插值的角度对神经网络训练的稳定性进行了理论分析,提出了一种基于非扩张算子理论的优化方法 —— 放松近似近端点(Relaxed Approximate Proximal Point,RAPP),该方法扩展并优化了 Lookahead 算法,并通过对生成对抗网络的实验证明了 RAPP 和 Lookahead 中线性插值的优势。
Oct, 2023
该研究提出了风险单调性的正式概念,其要求风险不会随着培训集大小的增加而期望恶化。此外,该研究还发现了各种标准学习器(特别是最小化经验风险的学习器)可以在培训样本大小上无脑不单调,这为新的研究方向开辟了一条全新的途径。
Jul, 2019
探讨神经网络中单调线性插值现象 (monotonic linear interpolation) 的相关性、对权重和偏差进行插值对最终输出的影响、在深度神经网络中存在一个长期平稳期等问题。
Oct, 2022
通过使用梯度惩罚以及风险最小化,我们研究了满足不同单调性概念的预测器,介绍了一种方法来使用训练实例和随机点来扩展惩罚的范围,在不增加计算开销的同时,在图像分类和生成建模等领域实现了控制数据生成、检测异常数据和生成预测解释等的优势。
May, 2022
本文针对机器学习中数据采集的困难和对泛化理解的缺乏,提出一种风险单调且效率较高的学习算法,解决了 Viering et al. 2019 提出的风险曲线非单调性的问题,同时提出了专门针对马尔可夫差分序列等非独立同分布的过程的经验 Bernstein 集中不等式的新方法。
Nov, 2020
机器学习分类器的校准是为了获得可靠且可解释的预测结果,本论文提出了一种新的广义各向同性回归方法,通过构建一个多维适应性分箱方案在概率空间中实现多类别的校准误差为零,并在实验证明了该方法能够在降低交叉熵损失和避免过拟合校准集之间取得平衡。
Nov, 2023