本文探讨了线性模型在实际数据中的泛化能力,并提出了一种在非独立同分布数据和分布变化情况下的解决方法,得到了渐近精确的理论结果,并在实际数据验证了结果的有效性。
May, 2023
研究高维稀疏线性回归问题在存在噪声、缺失或相关的数据时的情况下,提出了基于投影梯度下降的估计器,并且证明其在多项式时间内收敛到所有全局最小值的近邻,并给出了在统计和计算两个方面的理论保证。
Sep, 2011
本研究探讨了深度神经网络在训练数据含有噪声且参数个数超过数据点个数时,仍能够实现零训练误差且具有泛化能力的机制,并阐述了过拟合和特征选择不佳对泛化能力的影响。
Mar, 2019
本文提出了一种机器学习模型稳健性的框架,通过人类关于因果关系的常识知识来解决模型在训练和测试过程中的不一致性问题。透过在每个训练数据中加入人类标注的潜在未测变量,将问题转化为协变量转移问题,并引入分布稳健优化目标来控制测试时偏移的最坏情况损失,实验结果表明,在具有旋转混淆的数字识别任务和分析 NYPD 警务巡逻地点混杂的任务中能获得 5-10% 和 1.5-5% 的性能提升。
Jul, 2020
金融市场的价格波动被认为非常嘈杂,为减少风险并提高结果,我们采用了基于机器学习算法的模型集成方法,通过学习一系列模型并在测试时对数据进行修剪,预测固定期限收益。这种方法有望在更低的风险水平下获得更好的整体回报。
Oct, 2023
本文通过引入两个上界来解决使用离线输入 - 输出数据直接预测 LTI 系统输出的问题,同时考虑到噪声对预测精度的影响,通过数值模拟证明噪声水平的增加会线性降低上界,并指出使用去噪启发式方法不一定提高预测准确度或减小上界。
Apr, 2024
研究高维稀疏回归的非随机误差问题,并开发算法来支持恢复,实验展示了标准异常值过滤技术、稳健回归算法、处理随机噪声或擦除的算法不能提供支持恢复的保证。
Jan, 2013
本研究探讨了过参数化模型在插值噪声数据时的行为,分析了数据的协方差结构和高效秩的子空间是如何影响该现象的发生,并提供了正则化条件下的结果。
Sep, 2020
基于矩阵的噪声观测,我们构建了一个弹性框架以推断其线性形式,我们提出了一种构建渐近正常估计量的普遍过程,以进行双重样本去偏差和低秩投影,从而允许我们构建线性形式的置信区间并检验假说。
Aug, 2019
通过使用潜在变量模型,利用噪声信息来增强有用信号的建模,并通过引入超参数和有序无限维收缩先验来提高建模精度。
Oct, 2014