最小二乘逼近的最优取样
该论文采用压缩感知框架和随机抽样技术,证明在一定光滑程度和变化的前提下,对于定义在单位球上的连续函数f,其任意的矩阵A选择和采样点的随机分布可以生成具有多项式时间复杂度的统一的逼近函数。
Aug, 2010
本文研究了随机草图方法,以近似解决带有一般凸约束的最小二乘问题,并提出了一种名为迭代 Hessian 草图的新方法,同时提供了数值模拟实验,包括面部表情分类实验。
Nov, 2014
本文考虑了最小二乘回归问题,提出了平均恒定步长随机梯度下降(也称最小均方误差)的性能的详细渐近分析。在强凸情况下,我们提供了一个高度渐近展开式。我们的分析提供了对随机逼近算法的新见解。
Nov, 2014
研究并分析随机坐标下降方法的设计和复杂度,特别是每次迭代在一个随机子集(采样)中更新的变体,这取决于期望可分离过逼近(ESO)的概念。本文为一类函数和任意采样推导了这种不等式,该方法基于与采样和描述函数的数据相关的特征值的研究。
Dec, 2014
本文提出了一种基于梯度的自适应抽样策略,对比以往仅根据输入数据独立抽样的方法,该策略结合了输出变量,实现了在处理最小二乘问题时更高的统计效率和计算效率。理论分析证明了其抽样误差上限的改善,而实验证实了该方法的有效性。
Mar, 2018
本文针对 least-squares 问题,利用渐进分析推导出一般采样估计器的渐近分布,并探讨了如何构建置信区间和假设检验,最后基于该理论提出了两个标准来确定最佳的采样概率分布。
Feb, 2020
介绍了一种通用框架,可用于回归问题的主动学习,其中包括渐进式改进的数据类型,采样度量的优化以及广义 Christoffel 函数在优化采样度量中的作用。
Jun, 2023
通过使用随机点值函数的加权最小二乘逼近方法,该研究论文提供了一种依赖于投影行列式点过程(DPP)或体积采样的加权最小二乘泛化版本,证明了在期望意义下使用O(mlog(m))个样本时预期的L^2误差受到常数倍的L^2最佳逼近误差的限制,并证明了在函数属于连续嵌入L^2的某个范数向量空间H的情况下,逼近几乎一定受到H范数下最佳逼近误差的限制,最后通过数值实验展示了不同策略的性能。
Dec, 2023