Feb, 2024

一种可微的 POGLM 及其正反向消息传递算法

PDF
TL;DR部分可观察的广义线性模型（POGLM）是一个强大的工具，用于理解存在隐藏神经元的神经连接性。本文提出了一种新的可微分 POGLM，使得路径梯度估计器比现有方法中使用的得分函数梯度估计器更好。同时，我们还提出了一种基于前向 - 后向消息传递采样方案的变分模型，利用全面的实验验证了我们的方法在合成数据集和真实数据集上更好的性能，并且产生更可解释的参数，凸显其在神经科学中的重要性。
partially observable generalized linear modelneural connectivityvariational inferencepathwise gradient estimatorforward-backward message-passing sampling
发现论文，激发创造
  • 分层图形模型的共识消息传递

    引入一种改进的信息传递方法，通过传递共识信息以指导学习处理大规模、阶层化的图像模型的推理，使其在计算机视觉领域具有更准确的推理结果。

    Oct, 2014

  • 广义线性模型的向量近似传递算法

    本文介绍了将 “vector AMP” 算法推广到广义线性模型 (Genelized Linear Model, GLM) 中的方法，通过实验表明所提出的 GLM-VAMP 算法比阻尼 GAMP 算法更能应对矩阵 A 病态化的情况。

    Dec, 2016

  • 用广义线性模型捕获单个神经元的动态可重现性

    研究发现，泊松广义线性模型可用于表征神经元的动力学行为，包括单峰和多峰放电、不同兴奋类型和双稳态等，从而适用于单神经元和群体响应属性的动力学和统计学研究。

    Feb, 2016

  • 带结构推理网络的变分消息传递

    通过结构化推理网络和变分信息传递算法，提出了一种针对深层结构模型的高效变分推理方法，实现了结构化、平凡化和自然梯度推理的同时简化了现有方法。

    Mar, 2018

  • 一种可微分点过程及其在脉冲神经网络中的应用

    本文介绍了一种用于训练具有隐藏神经元的脉冲神经网络（SNNs）的学习算法，探讨了一种基于路径梯度估计器的 SNNs 的替代梯度估计器，并开发了一种可微的点过程，用于导出替代梯度估计器。通过数值模拟，研究了梯度估计器的有效性。

    Jun, 2021

  • 高维深度生成先验推断

    本文提出了一种新算法 ML-VAMP，用于多层随机神经网络推理，可配置为计算最大先验或近似最小均方误差估计，具有高维随机极限下的精确预测及可测试最优性条件，提供了一种计算方法，可在大型系统极限下进行多层推理并实现最小均方误差预测。

    Nov, 2019

  • Poisson 流生成模型

    该研究提出了一种新的 “泊松流” 生成模型 (PFGM)，通过对高维半球面上的均匀分布进行映射来实现任何数据分布的生成，利用电荷在一个带有额外维度的扩展空间中的分布和电场可以生成高维电场及其在空间中的流动进行学习来实现这一目标，此模型在 CIFAR-10 数据集上表现出优秀的生成效果，并且在网络架构弱的情况下同样具有较好的鲁棒性和加速性。

    Sep, 2022

  • 利用预测信念传播学习通用潜变量图模型

    提出了一种基于预测信念传播的新型学习和推断算法，对于一般潜变量图模型，算法将硬参数学习问题简化为一系列监督学习问题，并将学习不同种类的潜变量图模型统一到一个局部最优、统计一致的学习框架中，此算法在合成和真实数据集上显著优于前人方法，也更快地计算。

    Dec, 2017

  • 具有主题层自适应随机梯度黎曼 MCMC 的深层潜在狄利克雷分配

    针对深度离散潜变量模型中的梯度计算和步长适应问题，本论文提出了利用数据增广和边缘化技术，得到分块对角 Fisher 信息矩阵及其逆的深度潜在狄利克雷分配表示，并利用该矩阵和随机梯度马尔科夫链蒙特卡罗方法，提出了主题 - 层适应性的随机梯度里曼蒙特卡罗方法，可全局学习所有层和主题的全局参数，实现了在大数据集上的最新成果。

    Jun, 2017

  • 图像遮挡感知生成模型的高效推理

    本文提出了基于层叠的图像生成模型，学习每个物体的形状先验，使用 SGVB 进行学习并应用于前景和背景物体推理。

    Nov, 2015