统计无偏回归:一种用于验证回归模型的机器学习方法
机器学习模型在计量学应用中的可信度需要伴随确定性不确定性的量化,本文解决了经过训练 / 固定的机器学习回归模型中不确定性传播的挑战,提供了在特定输入数据分布和多种机器学习模型下,对模型输出均值和方差的解析表达式,并通过数值实验验证方法,与蒙特卡罗方法在计算效率上进行比较,同时以锂离子电池状态建模为例,展示了方法的应用。
Apr, 2024
该研究提出了一种利用模型非参数不确定性估计的选择性回归方法,通过全面的基准测试在 69 个数据集上展示了该框架优于现有选择性回归方法的性能,并使用可解释的人工智能技术对选择性回归的动因进行了理解。
Nov, 2023
本文基于因果关系假设,将因果技术纳入预测建模中,提出一种新的因果正则化逻辑回归(Causally Regularized Logistic Regression,CRLR)算法,以共同优化全局混杂因素平衡和加权逻辑回归,以解决对假设的无知选择偏差对实际应用中的稳健模型学习的重要性问题。
Aug, 2017
本文研究基于统计学习理论的机器学习方法中的不确定性问题,并深入探讨了在回归分析中评估模型系数和输出特征值预测中的不确定度。另外,针对机器学习中的模型复杂度和严重非线性等问题提出解决方案,并指出决策制定时需要对机器学习模型和预测进行不确定性评估、风险评估的需求,并提供使用非参数技术解决不确定性问题的方法及最新的超级计算机设备供进行高强度计算。
Jun, 2022
通过利用高斯约翰逊 - 林登斯特劳斯变换(JLT)来估计 OLS 中的 $t$ 值并推导出投影后的数据的置信区间,该文提出了一种基于不同隐私估计器的类似保证性质的方法。
Jul, 2015
混合线性回归是参数统计学和机器学习领域中一个被广泛研究的问题,本文研究了在没有生成模型的情况下,如何通过异态学习使用期望最大化算法 (EM) 和交替最小化算法 (AM) 进行混合线性回归的参数估计。
Jun, 2024
探讨了在普通最小二乘回归中,找到或推翻删除数据集中的小子集会反转系数符号的实用算法;通过实证研究了用于此任务的成熟算法技术在一般线性回归问题和特殊情况下的精确贪婪方法方面的性能,证明这些方法在几个维度的回归问题中优于现有技术并提供了实用的鲁棒性检查;但对于维度为 3 或更高的回归问题中推翻这种小型影响样本存在性的重要任务仍存在显著的计算瓶颈;通过使用源自算法稳健统计的最新创新思想的谱算法在这一挑战中取得了一些进展;总结了在几个挑战数据集中,已知技术的限制,以促进进一步的算法创新。
Jul, 2023
针对误差关键的机器学习应用中存在的可能放弃预测(或选择性预测)的问题,本研究在非参数异方差回归问题上提出了一种通过对给定点上的条件方差值进行假设检验的放弃过程。与已有方法不同,提出的方法不仅考虑方差本身的值,还考虑相应方差预测器的不确定性。我们对得出的估计器的风险证明了非渐进界限,并展示了多个不同的收敛模式。理论分析通过一系列的模拟和真实世界数据实验进行了说明。
Sep, 2023
提出了一种新的 Decorrelated Weighting Regression (DWR) 算法,能够提高模型错误规范化和未知测试数据下的参数估计准确性和预测稳定性。
Jan, 2020