- 使用受 ROCR 平正则化的保序回归进行分类器校准
机器学习分类器的校准是为了获得可靠且可解释的预测结果,本论文提出了一种新的广义各向同性回归方法,通过构建一个多维适应性分箱方案在概率空间中实现多类别的校准误差为零,并在实验证明了该方法能够在降低交叉熵损失和避免过拟合校准集之间取得平衡。
- 二进制缩放是否能提高机器学习回归中预测不确定性的一致性和适应性?
Binwise Variance Scaling 是一种用于机器学习回归问题的后期校准方法,通过改进的 uncertainty-based binning 和替代性损失函数以及基于输入特征 (X) 的分组方案,从而提供更高效的校准条件和改善 - 具有 RePU 激活函数的可微分神经网络:应用于分数估计和保序回归
本文以 RePU 函数激活的可微分神经网络为研究对象,探讨其导数的性质和逼近能力,进而提出了利用 RePU 网络进行曲线拟合和罚函数优化的方法,并证明了当数据分布在低维流形上时,该方法可以有效解决维数灾难问题。
- ICLR知识图谱嵌入模型的概率校准
研究表明知识图谱嵌入方法存在概率校准问题,提出了一种在无真负例的情况下使用 Platt 校准和保序回归的方法。实验结果表明,该方法相对于未校准的方法具有明显的性能提升,达到了同等质量校准方法的最新水平。同时,该方法还能够避免定义特定关系的决 - 保序回归的偏差
本文研究保序回归估计器的偏差问题,证明了只要均值单调且噪点分布具有亚指数尾部即可推广偏差缩放为 $O (n^{-eta/3})$ 的结果,其中定义了指数 $eta$ 来刻画平滑度
- 概率校准树
提出了概率校准树,是一种修改后的逻辑模型树,它识别输入空间中的不同区域,在这些区域中学习不同的概率校准模型以提高性能。与等单调回归和 Platt 缩放方法相比,我们的方法的平均根均方误差更低,适用于各种基础学习器产生的概率估计。
- 通过最小 Wasserstein 反卷积实现非耦合等距回归
本文阐述了利用基于最优传输理论的工具来推导满足 $y_i$ 弱矩条件的极小极大率,并给出了实现最优率的有效算法。上下界都使用与学习混合分布和反卷积相关的矩匹配论据。
- 使用重叠补丁学习一个卷积层
该论文提出了一种学习一层卷积网络的高效算法(Convotron),通过随机更新规则和同感回归等技术,在不需要特殊初始化或学习率调整的情况下,可以有效地从一般类型的重叠图案中学习。
- 使用一组近似等距回归模型进行二元分类器校准
本文提出了一种名为 extit {ensemble of near isotonic regression} (ENIR) 的新型非参数校准方法,它能够扩展二元分类器输出校准的方法,并着重解决了在使用等单调回归的校准中存在的预测单调性假设 - 所有 $\ell_{p}$- 范数中保序回归的快速、可证明算法
本论文提出了一种实用的算法,可以计算出在给定有向无环图和顶点上的一组值的约束下,满足所有给定的加权 Lp 范数最小化的保序回归问题,同时提供严格的性能保证。
- 关于保序和其他形状受限回归问题的风险界限
在一定约束条件下通过最小二乘估计器来估算位于特定凸多面锥体内的未知 θ ,得到了该估计器的风险边界,特别地,研究了保序回归中的风险边界及其本地最小值下边界。
- Venn-Abers 预测器
本文研究了 Venn 预测法在二元预测问题上的应用,证明了其输出结果的良好校准性,并介绍了一种基于保序回归原理的 Venn-Abers 预测器,通过简化算法提高了计算效率并取得了良好的实验结果。
- 从 Boosting 获取校准的概率
本文探讨了 AdaBoost 在预测概率时存在的失真问题,并介绍了三种校正方法:Platt Scaling,Isotonic Regression 和 Logistic Correction,在实验中发现 Logistic Correcti - ICML使用排名损失预测准确概率
本文提出了一种使用排名损失函数和等变回归来优化概率预测的技术,具有良好的排名和回归性能,并且在概率分布上比逻辑回归等统计学习方法表现更好,证明了该技术在实际应用中的有效性。
- 带有随机 Bernstein 多项式的形状受限回归
使用 Bernstein 多项式和马尔可夫链蒙特卡罗方法研究了形状限制回归,包括保序回归和凹回归作为特殊情况,这些先验具有大的支持,仅选择平滑函数,可以轻松地将几何信息并入先验,并且可以在不需要计算的情况下生成。提出了生成先验和后验的算法,