适应线性模型的准确推理
使用自适应数据收集的估计和推断在统计学中面临重大挑战。通过研究单个坐标估计的错误表明了适应性数据和 i.i.d. 数据之间估计性能的显著差异。研究表明 OLS 方法可实现匹配的估计错误,我们还提出了一种新的单坐标推断估计器,通过解两阶段自适应线性估计方程来实现。
Oct, 2023
在顺序实验中,通过使用自适应增广逆概率加权估计量和倾向得分截断技术,我们提出了一种有效的平均处理效应推断方法,能够在变动的样本规模下进行推断并具有较窄的置信区间。
Nov, 2023
在线统计推断使得实时分析顺序采集的数据成为可能,本文引入了一种针对高维广义线性模型的在线推断新方法,通过在每次新增数据到达时更新回归系数估计和其标准误差,与现有方法相比,该方法以单次传递模式运行,大大降低了时间和空间复杂度。方法的核心创新在于针对动态目标函数设计的自适应随机梯度下降算法,结合了一种新型的在线去偏过程,能够在有效控制由动态变化的损失函数引入的优化误差的同时,保持低维度的摘要统计量。我们的方法,即近似去偏套索(ADL),不仅减轻了有界个别概率条件的需求,而且显著提高了数值性能。数值实验证明了所提出的 ADL 方法在各种协方差矩阵结构下一致表现出鲁棒性。
May, 2024
关于如何在自适应数据分析中保证统计推断的有效性的研究,使用隐私保护技术协调估计值,并在估计指数数量的期望时取得了指数级的改进,适用于多重假设检验和虚假发现率控制。
Nov, 2014
提出了一种新的 Decorrelated Weighting Regression (DWR) 算法,能够提高模型错误规范化和未知测试数据下的参数估计准确性和预测稳定性。
Jan, 2020
大多数实际应用中的数据收集通常包含缺失值,这些缺失值通常是非随机缺失,从而降低了模型的预测性能。本文首先从理论上揭示了正则化技术的局限性,并进一步说明,对于更一般的估计器,无偏性必然导致方差无界。然后,我们开发了一种系统的精细动态学习框架,通过预定义的目标函数为每个用户 - 项对自适应选择适当的估计器,从而联合优化偏差和方差。通过这种操作,模型的泛化界限和方差减少并且有理论保证。通过大量实验证实了理论结果和所提出的动态学习框架的有效性。
May, 2024
本文研究如何在模型错配偏差情况下学习线性预测模型。我们提出了一种样本重新加权方法,该方法可以减少输入变量之间的共线性,从而提高设计矩阵的条件,并与任何标准学习方法相结合,用于参数估计和特征选择,进而提高模型在不同分布数据集下的稳定性。
Nov, 2019