May, 2024

一种基于双重样本回收方法的高效有限差分逼近

PDF
TL;DR我们在本文中提出了一种双重样本回收方法，用于估计随机梯度，进而获得最优有限差分估计器，分析了其偏差、方差和均方误差，并在数值实验中应用该估计器，结果表明其与理论一致性和鲁棒性在小样本大小情况下尤为突出。
stochastic gradientsfinite difference approximationsample-recycling approachmean squared errornumerical experiments
发现论文，激发创造
  • 时差学习的有限样本分析

    评估折扣马尔可夫决策过程中，使用线性函数逼近的时序差异 (TD) 方法的性能限界，我们证明，使用通用且独立于实例的步长算法，结合 Polyak-Ruppert 尾部平均，可以获得接近最优的方差和偏差项，同时给出了相应的样本复杂性限界。

    Oct, 2023

  • 有限样本的差分隐私置信区间

    本文研究在差分隐私的限制下，对正态总体均值进行有限样本置信区间的估计问题。我们考虑知道和未知方差情况，并构建了具有差分隐私的算法来估计置信区间，与大多数以前的算法不同的是，我们不要求样本的定义域是有界的。此外，本文还证明了差分隐私置信集的预期大小下界，表明我们的参数在多对数因子意义下是最优的 。

    Nov, 2017

  • 逆向渲染的联合采样和优化

    使用 Monte Carlo 估算的梯度进行优化参数时，通过对每次迭代进行多个梯度样本的平均化可以减少方差。然而，对于需要进行数千次优化迭代的问题，这种方法的计算成本会迅速上升。我们推导了一个理论框架，通过交错采样和优化，更新和重复使用过去的样本，使用低方差的有限差分估计器描述每次迭代之间的梯度估计变化。通过结合比例和有限差分样本，我们在整个优化过程中持续减小我们的新颖梯度元估计器的方差。我们研究了我们的估计器与 Adam 的相互关系，并推导出一种稳定的组合。我们将我们的方法应用于反向路径追踪，并演示了我们的估计器在困难的优化任务上加快收敛的速度。

    Sep, 2023

  • 线性随机逼近和 TD 学习的有限时间误差界

    考虑由 Markovian 噪声驱动的线性随机逼近算法的动态特性，通过考虑适当选择的 Lyapunov 函数的漂移，获得常数步长算法的有限时间误差的二次矩的有限时间界限。我们还对逼近误差 2 范数的平方的矩进行了全面的处理。

    Feb, 2019

  • 无导数优化中梯度逼近的理论和实证比较

    本文分析了多个仅基于函数值的逼近噪声函数梯度的方法，包括有限差分、线性插值、高斯平滑和球面平滑等，并给出了收敛性保证和数值结果以及应用于无导数优化算法的表现。

    May, 2019

  • 自动有限样本鲁棒性指标：少量数据的丢失是否能够产生显著影响？

    本文提出了一种评估应用计量经济学结论对样本中很小一部分数据敏感性的方法 —— 近似最大影响摄动法，并提供了有限的样本误差界，发现敏感性取决于推断问题中的信噪比，不会随着渐近逐渐消失，并不是由于错误规范而引起的。

    Nov, 2020

  • 流式差分隐私下 $L_2$ 均值估计的通信隐私权衡改进

    在本研究中，我们通过引入一种新的隐私账户方法，将稀疏高斯机制中的稀疏性所固有的随机性结合到差分隐私噪声中，解决了 $L_2$ 均值估计在中心差分隐私和通信约束下的两个关键挑战，并扩展了稀疏化方案到流式差分隐私的矩阵分解框架，为 DP-FTRL 类型的优化器提供了一个精确的账户方法。

    May, 2024

  • 密度差估计

    本文提出了一种新的非参数估计方法，来直接估计概率密度间的差异，同时证明了该方法的收敛速度优越，并通过实验证明了其实用性。

    Jun, 2012

  • f - 散度估计的实用和一致性

    本文研究了在结构假设条件下用样本估算概率分布之间 f-divergence 的问题，提出了一种易于实现、适用于高维数据且收敛速度更快的估算器，并在合成和真实数据实验中验证了其行为。

    May, 2019

  • Wasserstein 空间中失真 - 感知权衡的理论

    本文研究估计器的感知 - 失真权衡问题，导出了均方误差失真和 Wasserstein-2 感知指数下的失真 - 感知（DP) 函数的闭式表达式，证明了不论潜在分布如何，DP 函数总是二次的。我们还表明，这些估计器可以从感知质量卓越的 MSE 最小化器和感知质量优良的 MSE 最小化器两个极端处的估计器构建而来。

    Jul, 2021