Feb, 2016

使用随机最大后验扰动进行高维推断

HTML
PDF
TL;DR本文提出了一种新的高维统计推断方法，称为perturb-max，并利用随机扰动和优化来注入随机性到最大后验（MAP）预测器中，进而产生来自Gibbs分布的无偏样本，同时在低维扰动情况下可提高采样效率，还证明了perturb-max值的期望和最大扰动值之和是这些模型熵的一个自然上界，并通过测量的集中结果使得采样平均值与其期望值的偏差以样本数量的指数衰减，有效的近似期望。
发现论文，激发创造
  • 关于分配函数和随机最大后验扰动

    本文利用随机变量的最大统计量将分区函数与之相关联，提供了一种新的框架，通过随机扰动模型上的MAP推断来近似和限制分区函数，从而可以使用图割等高效MAP求解器来评估相应的分区函数，证明我们的方法在典型的“高信号-高耦合”区域中表现出色，这导致了难以处理的凹凸不平的能量景观。

    Jun, 2012

  • 关于随机最大后验扰动的给定分布采样算法

    该研究使用MAP推断描述如何有效地从Gibbs分布中进行采样。通过引入低维扰动并解决相应的MAP分配，提供了从Gibbs分布中绘制近似或无偏样本的方式。同时通过该方法，获得了求解分函数下限的新方法。最后实验结果表明，该方法在“高信号 - 高耦合”模式下优异表现，并且可以处理更具挑战性的能量场景。

    Sep, 2013

  • 关于随机最大后验扰动度量的专业简体中文翻译

    本文提出了新的度量区间不等式方法，用于估算低维度MAP扰动期望值所需的样本数量，通过将该通用结果应用于MAP扰动，可以产生更有效的算法以从Gibbs分布中近似采样。

    Oct, 2013

  • 在多项式时间内学习最大后验扰动模型以进行结构化预测

    本文提出了一种基于 Rademacher 泛化界限的新型通用泊松模型学习算法，并给出了对未知示例的泛化保证条件，该方法可以在多项式时间内计算MAP预测器期望损失的泛化界限。

    May, 2018

  • 关于投影鲁棒最优输运的样本复杂度和模型错误问题的研究

    本文利用基于投影健壮性的最优输运（OT）距离作为损失函数来研究参数推断，基于多维维度的视角建立了多个基本统计属性，提出了平均最优输运（IPRW）距离，并给出了复杂性界限和渐进保证。最后，在模型错误说明下给出了最小PRW估计量的两种渐进保证，并为具有投影维数大于1的PRW设计了新颖的变分分析和统计理论的组合。

    Jun, 2020

  • 高维重尾数据下的健壮回归：渐近性和普适性

    我们研究了在协变量和响应函数都存在重尾污染的情况下, 强鲁棒回归估计器的高维特性。尤其是, 我们针对一族包括无二阶甚至更高阶矩不存在情况下的椭圆形协变量和噪声数据分布, 提供了M-估计的锐性渐近特性描述。我们表明, 尽管具有一致性, 在存在重尾噪声的高维情形中, 优化调整的Huber损失与位置参数δ是次优的, 强调了需要进一步正则化以达到最佳性能的必要性。这个结果还揭示了δ作为样本复杂性和污染的函数的一个有趣的转变的存在。此外, 我们导出了岭回归的超额风险的衰减速率。我们表明, 对于有限二阶矩的噪声分布, 岭回归虽然是最佳的且适用的, 但当协变量的二阶矩不存在时, 它的衰减速率可能会更快。最后, 我们展示了我们的公式可以方便地推广到更丰富的模型和数据分布, 如对混合模型的任意凸正则化训练的广义线性估计。

    Sep, 2023

  • 高维统计中的可复制性

    研究了可复制性的计算和统计等价性以及高维统计任务中的样本复杂度，并提出了解决分布有有界协方差和N-Coin问题中的开放问题的有效算法。

    Jun, 2024

  • 一种基于变分贝叶斯方法的高维线性回归中低维参数去偏推断

    研究中提出了一种可扩展的变分贝叶斯方法，用于对稀疏线性回归中高维参数的一个单一或低维子集进行统计推断，通过对干扰坐标进行均场近似和谨慎地对目标的条件分布建模，只需要预处理步骤，保留了均场变分贝叶斯的计算优势，同时确保了对目标参数以及不确定性量化的准确可靠推断，该算法在数值性能方面与现有方法相媲美，并且在估计和不确定性量化方面建立了伯恩斯坦-冯·米塞斯定理的相关理论保证。

    Jun, 2024

  • 通过维度对数Sobolev不等式在概率测度中精确检测低维结构

    提出了一种通过最小化维度对数Sobolev不等式和KL散度，以识别目标与参考测度之间的近似关系的方法，该方法适用于高维概率测度的低维结构识别和有效抽样。

    Jun, 2024

  • 高维学习中的非渐近不确定性量化

    我们通过估计有限维度数据的偏差项的均值和方差，利用高维集中现象，从而得到非渐近置信区间，从而纠正了一类大范围预测器的置信区间，扩展至稀疏回归和数据驱动预测器如神经网络，提高了基于模型的深度学习的可靠性。

    Jul, 2024