Jul, 2023

隐式归一化显式正则化密度估计

PDF
TL;DR我们提出了一种基于正则化密度的 Sobolev 范数的非参数密度估计的新方法，该方法与核密度估计不同，使模型的偏差清晰且可解释，虽然没有与其关联的核的封闭解析形式，但我们展示了可以使用采样来近似它，所需确定密度的优化问题是非凸的，并且标准梯度法性能不佳，然而我们展示了适当的初始化和使用自然梯度可以得到良好的解，最后，虽然该方法提供未归一化的密度，无法使用对数似然进行交叉验证，但我们展示了可以使用基于费歇分歧的得分匹配方法来完成此任务，我们在最近的安全检测基准套件 ADBenchn 上对所得方法进行了评估，发现排名第二，超过 15 种算法。
发现论文，激发创造
  • 非参数得分估计器

    本文探讨了基于鲍姆 - 韦尔奇定理的 Stein 方法和 Score Matching 方法的核估计者，提出了一种基于正则化非参数回归框架的统一视角，允许我们分析现有的估计器并选择不同的假设空间和正则化器构建新的估计器。最后，我们提出了基于迭代正则化的分数估计器，它们受到无旋核和快速收敛的计算优势的支持。

    May, 2020

  • 方差稳定密度估计的异常检测

    通过将正常样本的密度函数假设为在某些紧凑区域内是均匀的，减小方差放宽了对于特定数据的超参数调节要求，提出了基于改进密度估计的异常检测方案，并设计了一个方差稳定的密度估计问题，然后使用自回归模型学习了方差稳定分布，最后在 52 个数据集的广泛基准测试中表现出了最新的结果。

    Jun, 2023

  • 快速非参数条件密度估计

    通过建立 full density 模型 f (yjx) 而非只有期望值 E (yjx)，条件密度估计广义了回归。本文提出了双核条件密度估计器，并引入了基于双数树的快速算法，用最大似然准则进行带宽选择，从而在处理多变量数据集时取得 380 万倍的加速。

    Jun, 2012

  • 具有 Nyström 核指数族的高效和基本得分估计

    本研究提出了一种学习指数族密度模型的快速方法，其中自然参数在再生核希尔伯特空间中，可以是无限维的。该模型通过拟合对数密度的导数来实现学习，从而避免了计算归一化常数的需求。该方法在密度估计和构建自适应哈密尔顿蒙特卡洛取样器方面得到了评估。

    May, 2017

  • ConjNorm: 可操作的密度估计用于异常检测

    通过使用 Bregman 分歧为基础的密度函数设计方法，我们提出了一种新的理论框架，引入了 ConjNorm 方法，达到了在不同的 OOD 检测设置中比当前最佳方法高出 13.25％和 28.19％（FPR95）的新的最先进水平。

    Feb, 2024

  • 无限维指数族密度估计

    使用无限维度的指数族函数族估算未知的概率密度，通过解决一个简单的有限维度线性系统，获得比非参数核密度估算器更好的结果，该估算器基于 Fisher 散度，可以在 Kullback-Leibler 散度下近似表示广泛类别的概率密度。

    Dec, 2013

  • 超越平滑性：将低秩分析并入非参数密度估计

    本文研究了在非参数密度估计中如何引入多视角潜变量模型，探讨了具有唯一一定的连续 Lipschitz 分量的多视角模型的普适一致直方图估计量存在，提出了基于 Tucker 分解的新的非参数潜变量模型，并在实验中发现相对于标准的直方图估计量，本文提出的估计量表现出了明显的性能提高，为将低秩技术扩展到非参数设置提供了坚实的理论基础。

    Apr, 2022

  • 非凸统计估计中的隐式正则化：梯度下降在相位恢复、矩阵补全和盲源分离问题中线性收敛

    研究非凸优化问题中梯度下降算法的隐式正则化特性，证明在多种统计模型中，梯度下降算法在没有显式正则化的情况下也能够实现正则化，并在相位恢复、低秩矩阵补全和盲反卷积等三个基本统计估计问题中实现近乎最优的统计和计算保证。

    Nov, 2017

  • 通过迭代正则化克服密度比估计中的饱和问题

    通过引入迭代正则化方法，解决了密度比估计中误差饱和问题，提高了密度比估计和深度无监督领域自适应模型增强的性能。

    Feb, 2024

  • 鲁棒核密度估计

    提出一种非参数密度估计算法，通过将传统的核密度估计器（KDE）与经典 $M$-estimation 的思想相结合，以及利用核化迭代加权最小二乘（IRWLS）算法对样本均值进行鲁棒性估计从而获得鲁棒 Kernel 密度估计器 (RKDE)，并给出了它的相关理论性质和试验结果。

    Jul, 2011