ICMLJun, 2018

隐式分布的梯度估计的频谱方法

PDF
TL;DR该论文提出了一种基于 Stein 恒等式和核算子的谱分解的梯度估计器，其中的特征函数由 Nyström 方法近似，可以直接估计梯度函数，适用于无采样点的外样本拓展，应用于无梯度的 Hamiltonian Monte Carlo 和带隐式分布的变分推断，并通过和 Kernel PCA 的连系探讨了方法背后的原理，表明该估计器能够自适应于潜在分布的几何形态。
发现论文，激发创造
  • 基于随机切比雪夫梯度下降的谱优化方法

    本文提出了对一类重要的谱函数（即谱和）实现无偏随机梯度的方法，基于结合随机化的迹估计和 Chebyshev 展开的随机截断。同时，我们将使用这个方法以及我们提出的谱和的随机梯度去设计数值试验和分析收敛速度。

    Feb, 2018

  • 隐式模型的梯度估计器

    该论文提出了斯坦梯度估计器，通过直接估计隐式定义分布的评分函数，消除了许多学习隐式模型的近似。该方法的有效性通过元学习和熵正则化 GAN 的实例得到了证明。

    May, 2017

  • 估算大型隐式矩阵的谱密度

    本研究结合多种不同的随机估计技术，展示了在存在噪声的情况下，构建偏差估计器以回答有关隐式矩阵光谱的广泛问题是可能的。

    Feb, 2018

  • 论 Stein 变分梯度下降的几何形式

    本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

    Dec, 2019

  • 广义谱核

    本文提出了一族可行核函数，这些函数在有界正半定函数族中密集，通过该族函数可以准确地近似任何有界核函数，我们首先讨论了平稳核函数的情况，并提出了一族谱核函数，扩展了现有方法，如谱混合核和稀疏频谱核，进而我们推广了方法并提出了一族灵活、可行的谱核函数，证明其能够近似任何连续有界非平稳核。

    Jun, 2015

  • 基于 Stein 方法的一类估计器的收敛速率

    使用斯坦因方法可以通过采样分布的渐变信息来减少蒙特卡罗估计器的方差，本文建立了一类基于斯坦因方法的估计器的理论界限，分析考虑了采样分布和测试函数的平滑程度，状态空间的维数，以及来源于马尔可夫链的非独立样本的情况，这些结果提供了关于基于梯度的估计器快速收敛的见解，以及澄清了这种方法固有的维度问题。

    Mar, 2016

  • 谱算法的泛化误差

    研究关于核方法泛化误差的精确估计，探讨核函数和神经网络之间的相似性，并引入一族特定的光谱算法，通过学习特征来推导出这种估计，从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达，以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。

    Mar, 2024

  • 谱推断网络：统一深层学习和谱学习

    本文提出了一种称为 Spectral Inference Networks 的框架，通过随机优化来学习线性算子的特征函数，可以成为从视频或基于图的数据中进行无监督表示学习的强有力工具。我们将训练 Spectral Inference Networks 视为一个双层优化问题，并展示了它在量子力学和合成数据集上的应用，在完全无监督的情况下从视频中准确恢复线性算子的特征函数并发现可解释的表示。

    Jun, 2018

  • 结构化广义线性模型的谱估计器在近似传递消息中的应用

    通过简化的特征值估计方法和相关的高斯设计，文章研究了参数估计问题，通过对数据进行合理预处理来最小化所需样本数量，并且开发了一个基于近似传递消息算法的策略来解决相关高斯设计中旋转不变性假设不成立的难题。

    Aug, 2023

  • 斯坦变分梯度下降：一种通用贝叶斯推断算法

    本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

    Aug, 2016