Mar, 2024

智能大规模随机接入的盲标准化 Stein 变分梯度下降检测

PDF
TL;DR提出了一种基于极大似然估计模型的新型早期前导检测方案，通过探索 Hadamard 变换和小波变换之间的关系，发展出了改进的 Hadamard 变换（MHT），并通过引入块 MHT 层、缩放层、软阈值层、逆 Hadamard 变换和稀疏惩罚来建模和解决了噪声和渐消梯度问题，通过引入盲化归一化 Stein 变分梯度下降算法，实现了无先验噪声功率和活动设备数量的前导检测，实验结果表明，所提出的方法在计算成本和去噪性能方面胜过其他基于变换的方法，并且在辅助下的盲化归一化 Stein 变分梯度下降算法实现了比其他最先进的检测方法更高的前导检测准确度和吞吐量。
preamble detectionmassive random accessmaximum likelihood estimationstein variational gradient descenthadamard transform
发现论文，激发创造
  • 神经变分梯度下降

    本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法，旨在解决传统 Stein 变分梯度下降中选择核函数的难题，经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。

    Jul, 2021

  • 消息传递式 Stein 变分梯度下降

    通过我们提出的基于条件独立结构的概率图模型的消息传递 SVMG 方法 (简称 MP-SVGD) 使其在高维空间中具有更强的排斥力，从而提高了粒子效率和逼近灵活性，解决了 SVGD 中粒子落入概率密度函数模态和丧失排斥力的问题。

    Nov, 2017

  • 无梯度的斯坦变分梯度下降算法

    本研究提出 Stein 变分梯度下降的变种分别采用代理梯度代替目标密度函数的真实梯度，并通过对梯度进行适当加权来纠正引入的偏差。同时，我们提出了一种基于模拟退火思想的 GF-SVGD，进一步提高了高维复杂分布的性能表现，并在经验研究中表明其性能优于一些最新的先进算法。

    Jun, 2018

  • 增强型消息传递 Stein 变分梯度下降

    本文研究了 Stein Variational Gradient Descent（SVGD）方法收敛过程中粒子的各向同性特性，并证明了有限粒子的 SVGD 无法扩展到整个样本空间，而是倾向于在一定范围内围绕粒子中心聚集；我们提出了一种改进的 SVGD 方法 —— 增强式信息传递 SVGD（AUMP-SVGD），该方法是一个不需要目标分布稀疏性的两阶段优化过程，能够在各种基准问题中高效地解决方差崩溃问题，实验结果表明此方法能够取得令人满意的精度。

    May, 2023

  • Stein 变分牛顿法

    本文提出了一种改进的 Stein 变分梯度下降（SVGD）算法，采用函数空间的 Newton 迭代近似二阶信息以加速算法，同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中，我们观察到与原始 SVGD 算法相比，有了显著的计算优势。

    Jun, 2018

  • 带矩阵值核的斯坦变分梯度下降

    本文提出了一种新颖的基于矩阵的 Stein 变分梯度下降算法，通过利用 Hessian 矩阵和 Fisher 信息矩阵等预处理矩阵来加速粒子的探索，从而实现了更加高效的近似推断，并在实验中证明其性能优于其他基线方法。

    Oct, 2019

  • 关于斯坦变分神经网络集成

    本研究研究了使用不同的 Stein 变分梯度下降方法来解决深度神经网络的 Bayesian 框架的问题，通过改善功能多样性和不确定性估计，逼近真实的 Bayesian 后验，并展示使用随机 SVGD 更新可以进一步改善性能。

    Jun, 2021

  • 斯坦变分梯度下降作为时刻匹配

    本文提出一种基于 Stein 算子的非参数推断方法，将 Stein 变分梯度下降（SVGD）用于解决推断问题，挖掘出一类函数，即 Stein 匹配集合，从而提供了更好的内核选择方法，并可以将问题转化为拟合 Stein 等式或求解 Stein 方程。

    Oct, 2018

  • 通过深度展开加速 Stein 变分梯度下降的收敛

    本文中提出了一种深度展开的可训练 SVGD 算法，用于加速其收敛速度，并通过数值模拟实验证明了该算法相较于传统的 SVGD 变体具有更快的收敛速度。

    Feb, 2024

  • 投影式斯坦变分梯度下降

    该研究提出一种基于投影斯坦变分梯度下降（pSVGD）方法，通过利用参数投影的低维系数，克服了贝叶斯推断中维度灾难的长期挑战，并在参数维度范围从数百到数万个的实验中证明了其准确性和效率。

    Feb, 2020