- 独立 Metropolis 是否能胜过朴素蒙特卡罗?
基于控制变量的独立 Metropolis 采样器使用提议密度进行方差缩减计算策略,可在 KL 散度条件下对密度进行估计,以较粗糙蒙特卡洛估计器具有更小的渐近方差,同时不需要额外的计算代价,但假设提议密度下的函数期望值在分析上是可用的。研究通 - 使用球谐函数作为控制变量的切片 Wasserstein 估计
提出了一种基于球谐函数作为控制变量的新的蒙特卡罗方法(SHCV)来近似计算切分瓦砾均距离(SW distance),该方法在理论性能和收敛速度上表现出优于现有方法的优势。
- SteinDreamer:通过 Stein 标识进行文本至 3D 分数提炼的方差减少
通过方差约减的视角,本文揭示了分数蒸馏中的梯度估计与高方差之间的内在关系,并提出使用 Stein's identity 进行变量约减的方法,称为 Stein Score Distillation (SSD)。通过构建由 Stein iden - 控制变量切片 Wasserstein 估计器
本文提出了一种控制变量的方法以减少蒙特卡罗方法计算的切片 Wasserstein 距离的方差,并通过图像和点云比较、渐进流和深度生成建模方面的案例来验证该方法的有效性。
- 通过控制变量实现高效关注
通过控制变量的方法,我们将随机特征关注(RFA)分解成多个控制变量估计器的和,从而揭示了 RFA 和标准 softmax attention 之间的逼近差距。我们开发了一种更灵活的控制变量形式,得到了一种新颖的注意机制,该机制在保持线性复杂 - 控制变量的多保真度强化学习
研究了基于多种保真度数据的强化学习问题,并提出了一种基于控制变量的多能级估计器以及基于多功能 Monte Carlo RL 方法来提高代理人在高保真度环境中的学习性能。
- 轨迹控制变量在策略梯度方法中的方差减少应用
该研究分析控制变量技术在策略梯度方法中应用的属性和缺陷,并提出了一种新的、递归构造的迹线方法,用于在合理假设下进一步降低方差。
- NIPS使用大量控制变量的集成进行变分推断
本文介绍了使用控制变量的方法来减少渐变方差的影响,提出了一种贝叶斯风险最小化框架来定量评估这一方法的效果,并表明使用大量控制变量结合的方法显著提高了推理的收敛性。
- ACL自然语言评估中去偏置自动度量的代价
本文提出使用控制变量方法,结合自动评价指标与人工评价来获取代价较低的无偏估计,在对文摘和开放式问题回答进行评估时,可以实现 7-13% 的代价降低,同时强调了自动评价指标和提示方式是进一步降低代价的关键瓶颈。
- KDD神经控制变量用于方差降低
本文提出了一种基于神经网络学习的控制变量方法,该方法在数值计算中应用广泛,可显著减少蒙特卡罗估计的方差,其中包括热力学积分和强化学习。
- IJCAI二阶优势信息的策略优化
本文提出了一种基于控制变量和 Rao-Blackwell 定理的策略优化方法,将其融合到一个统一的框架中,以降低高维连续控制任务中的策略梯度估计器方差,并成功将其应用于高维综合设置和 OpenAI Gym 的 MuJoCo 连续控制任务中。
- 随机梯度 MCMC 的控制变量
本文研究马尔可夫链蒙特卡罗、随机梯度 Langevin 动力学、控制变量、计算成本和零方差控制变量等相关问题,提出了一种用于减少方差的 log 后验梯度估计方法,并分析了其在 SGLD 中的应用,发现在目标分布满足对数凹的假设下,对于任意数 - NIPSREBAR: 离散潜变量模型低方差、无偏梯度估计
本文通过将控制变量与连续松弛相结合的方式来降低离散潜在变量的高方差梯度估计,并引入了一种在线调整松弛度的修改方法,实现了最先进的方差降低并加速了生成建模任务中的收敛。
- 多重重要性采样中的最优混合权重
本研究旨在通过优化混合成分采样率来提高多元重要性采样的效率。我们证明在控制变量回归系数和混合概率的联合情况下,多元重要性采样的采样方差是凸的,并给出了一个可用于估计样本数据中最优混合的顺序重要性采样算法。
- Monte Carlo 积分的控制函数
本研究提出了一种基于梯度信息的采样密度的非参数控制变量扩展方法,能够取得显著的方差降低效果,不要求采样密度归一化,相对于传统控制变量法能够更快速地达到固定精度,能够应用于层次模型和基于非线性常微分方程的模型中。
- 高效数据子采样加速 MCMC
提出了一种名为 Subsampling MCMC 的 Markov Chain Monte Carlo(MCMC)框架,其中通过对 m 个观测数据的随机子集进行估计,得到 n 个观测数据的似然函数,利用控制变量的高效无偏估计量来校正估计偏差 - 使用控制变量与随机逼近的变分贝叶斯方法及其与随机线性回归的联系
本文讨论了如何应用随机逼近技术对不可计算的贝叶斯后验分布进行变分逼近的可能性,同时提出了控制变量的概念以减少方差,并提出了一种称为随机线性回归的方法来降低方差。通过一些假设,本文推导出了一种理想的控制变量集合,并证明其与我们之前提出的随机线