Jan, 2024

通过方差减少的草图进行非参数估计

PDF
TL;DR通过引入一种名为 Variance-Reduced Sketching (VRS) 的新框架，我们特别设计了一种在高维度中估计密度函数和非参数回归函数的方法，其降低了 “维数灾难” 的影响，并通过一系列模拟实验和实际数据应用展示了其在密度估计和非参数回归模型中相较于现有的神经网络估计器和经典核方法的显著改进。此外，我们为 VRS 提供了理论上的证明，支持其在降低维度灾难的同时提供非参数估计能力。
nonparametric modelskernel methodsvariance-reduced sketchingdensity estimationnonparametric regression
发现论文，激发创造
  • 随机化草图用于核回归：快速和最优非参数回归

    本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

    Jan, 2015

  • 重新参数化的变分拒绝抽样

    传统的变分推理方法依赖于变分分布的参数族，而变分分布的选择对后验概率近似的准确性起着关键作用。本文提出了一种基于 Variational Rejection Sampling (VRS) 的新策略，通过引入低方差的重新参数化梯度估计器，将 VRS 变为一个适用于具有连续潜在变量的模型的引人注目的推理策略。理论上的论证和实证实验表明，得到的方法 - Reparameterized Variational Rejection Sampling (RVRS) 在计算成本和推理准确性之间提供了一个吸引人的折衷方案，特别适用于具有局部潜在变量的黑盒推理。

    Sep, 2023

  • 非参数变分推断

    本文提出了一种基于非参数核密度估计的变分逼近方法，通过优化内核位置和带宽参数最大化数据边际似然下限，不同于其他变分逼近方法，本方法能够捕捉后验分布的多个模式，并成功应用于各种图模型和非线性矩阵分解模型中，预测性能优于更专业化的变分方法和基于样本的逼近方法。

    Jun, 2012

  • 一种解决降秩算子回归的随机算法

    我们提出并分析了一种算法，用于解决涉及可能是无限维输入和输出空间的矢量值回归问题。该算法是降低秩回归的随机化改进，通过带有秩约束的正则化经验风险最小化来优化学习低秩矢量值函数（即运算符）与采样数据之间的关系。我们提出了基于高斯草图技术的原始和对偶优化目标，产生了高效准确的随机降秩回归（R4）估计器。对于我们的每个 R4 算法，我们证明了在适当调整超参数的情况下，随机草图的随机性的期望下，所得到的正则化经验风险将任意接近最优值。数值实验证明了我们界限的紧凑性，并展示了两种不同情景的优势：（i）使用合成和大规模神经科学数据集解决矢量值回归问题，以及（ii）回归非线性随机动力系统的 Koopman 运算符。

    Dec, 2023

  • 随机投影的精确表达式：低秩逼近与随机牛顿

    利用随机矩阵的谱分析最新进展，我们开发了一种新的技术，提供了随机投影矩阵的期望值的确切表达式，这些表达式可以用来表征多种常见的机器学习任务中的降维性能，包括低秩估计和迭代随机优化等。我们的结果适用于多种流行的草图方法，包括高斯和 Rademacher 草图，结果表明，我们推导出的表达式反映了这些草图方法的实际性能，甚至体现了较低阶效应和恒定因子。

    Jun, 2020

  • 多维函数数据的低秩协方差函数估计

    本文提出了一种新颖的在再生核希尔伯特空间（RKHS）框架下处理稀疏和稠密函数数据的非参数协方差函数估计方法，该方法可以灵活地对协方差算子和边际结构进行建模，并且可以保证生成的估计量自动具有半正定特性，并且可以融入各种光谱正则化。 Trace- norm 正则化可以促进协方差算子和边际结构的低秩，并且虽然缺乏闭合形式，但在温和的假设下，提出的估计量可以实现统一的理论结果，其收敛速度揭示了从稀疏到密集的函数数据的相变现象。 基于新的代表定理，开发了 ADMM 算法来实现 Trace- norm 正则化。 通过模拟研究和来自 Argo 项目的数据集分析，展示了所提出估计器的优异数值表现。

    Aug, 2020

  • 大数据聚类草图与验证

    本文提出了一种用于大数据分析的高效聚类框架 ——SkeVa family，它包括基于 k 均值聚类和核函数聚类的算法，并使用随机采样和一致性 (RANSAC) 思想进行降维和集合简化。此外还引入了一种基于离散度准则的算法。通过在大规模数据集上的实验，发现这些算法与最先进的随机投影方案相比，具有非常良好的竞争性能。

    Jan, 2015

  • 具有统计保证的快速随机核方法

    本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法，并提出了一个计算算法，该算法可以用来在不需要生成全核矩阵的情况下，对特征向量矩阵进行采样，并在统计表现和运行时间方面提供了新的保证。

    Nov, 2014

  • 草图算法的统计性质

    该论文介绍了一种称为 “sketching” 的数据压缩技术，该技术通过随机投影将大型数据集压缩成较小的替代数据集，然后进行统计分析，该方法特别适用于大规模的线性回归问题。

    Jun, 2017

  • 通过方差减少方法的随机零阶优化

    本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

    May, 2018