Oct, 2022

SIMPLE: $k$-Subset 抽样的梯度估计器

PDF
TL;DR通过使用前向离散 $k$- 子集采样与快速计算准确边际梯度的梯度代理相结合的方式，我们提出了一个新的梯度估计器 SIMPLE，它相对于 $k=1$ 时的 Gumbel 估计器表现出更低的偏差和方差，并在解释和稀疏线性回归方面取得了改进。同时，我们提供了一个计算 $k$- 子集分布的确切 ELBO 的算法，相对于 SOTA 获得了显著的更低损失。
$k$-subset samplingregularizationinterpretabilitygradient estimatorelbo
发现论文，激发创造
  • 通过连续松弛实现可重参数子集采样

    通过广义化 Gumbel-max 技巧，对子集采样实现连续松弛以提供可重参数梯度，应用于机器学习中的特征选择、深度随机 k 最近邻模型和参数 t-SNE 等任务中，提高了模型性能。

    Jan, 2019

  • Rao-Blackwell 算法优化直通 Gumbel-Softmax 梯度估计器

    本研究提出了一种对 Gumbel-Softmax estimator 进行 Rao-Blackwellization 的方法，可在不增加函数评估数量的情况下减少方差，从而降低均方误差，并在两种无监督潜变量模型中得到了实证验证。

    Oct, 2020

  • 离散分布的可伸缩抽样：梯度抽取错误

    使用似然函数关于离散变量的梯度来提议更新，在一些复杂的模型上，我们的采样方法包括 Ising 模型、Potts 模型、受限玻尔兹曼机和分步隐马尔可夫模型等方面表现出优异的性能，并且有效提升以往在高维离散数据处理方面经常使用的变分自编码器和现有基于能量模型的方法的性能。同时我们证明，该方法是在局部更新的抽样器中几乎是最优的。

    Feb, 2021

  • 通过增量学习实现稀疏均值估计的鲁棒性

    本文提出了一种简单的平均值估计方法，可以在 moderate 条件下克服现有估计器面临的计算和统计问题，并基于增量学习现象推导出匹配信息理论下界。

    May, 2023

  • 选择损失最小的样本使 SGD 更加稳健

    本文介绍针对使用随机梯度下降优化的机器学习模型在训练中可能出现的离群值导致参数偏差问题提出的一种新算法，该算法通过选择一组 k 个样本中当前损失最小的进行更新的方式可以提高模型的健壮性和准确性，可能对于各类由凸损失函数构成的机器学习问题都适用。

    Jan, 2020

  • SUMO: 潜变量模型对数边际概率的无偏估计

    基于随机截断无限序列，提出了一种针对潜变量模型的对数边缘似然及其梯度的无偏估计方法，并采用编码器 - 解码器架构对编码器参数进行优化，以最小化估计方差。该估计方法不仅适用于训练模型，还可用于无偏估计和反向 KL 散度最小化等任务。实验结果表明，该方法可以提高模型测试集的可能性。

    Apr, 2020

  • 通过无放回抽样估计离散随机变量的梯度

    本文提出了一种基于无重复抽样的离散随机变量期望无偏估计方法，将其与 REINFORCE 算法相结合，得到了具有内置控制变量的策略梯度估计器，并应用于多种任务得到了良好的效果。

    Feb, 2020

  • 使用间隔的直通估计器训练离散深度生成模型

    提出一种灵活的 Gapped Straight-Through (GST) 估计器来降低离散随机变量的梯度估计中的高方差，在 MNIST-VAE 和 ListOps 的两项离散深度生成建模任务中表现优异，比其他策略具有更好的性能。

    Jun, 2022

  • 高维正则化回归中的自举和子抽样分析

    研究使用重新采样方法估计统计模型的不确定性，探讨其在高维监督回归任务中的性能，特别关注广义线性模型和过参数化区域下的预测一致性与可靠性。

    Feb, 2024

  • 计算和统计效率的截尾回归

    本文提出了一种高效的估算器以应对截断线性回归问题，并通过实验数据验证了其准确性。

    Oct, 2020