本研究提出了一种基于深度潜在随机变量的自然图像生成模型，其采用新型分布称为修正高斯，其中采用类似 spike-and-slab 的稀疏性，保持了有效的随机梯度变分推断的可微性；通过一个结构化后验分布估计函数的近似，提出了一种新型结构化变分近似方法，避免常规均场假设，并保持了生成模型的先验依赖关系，从而实现了具有许多层潜在随机变量的深度模型的联合训练。

Feb, 2016

本文介绍了一种使用概率分布的随机矩阵来管理参数的变分贝叶斯神经网络，并使用矩阵变量高斯参数后验分布来明确建模每个层的输入和输出维度之间的协方差。此外，使用近似协方差矩阵，可以实现比完全分解更高效且更便宜的表示，同时无需损失模型性能。通过引入 “局部重参数化技巧”，可以将此后验分布转换为高斯过程，从而为每个层的隐藏单元提供解释，与深度高斯过程建立联系，并结合伪数据提高了模型采样效率。实验表明所提出的方法的有效性。

Mar, 2016

本篇论文首次提出了一种网络模型，其可预测合成图像的结构化不确定性分布。模型可学习预测每个重构的完整高斯协方差矩阵，从而实现有效的采样和似然评估，通过该方法，能够准确地重构合成数据集的地面真实相关残差分布，并为真实面部图像生成可信度高的概率密度函数分布。同时，展示了合成图像的结构保留降噪方法。

Feb, 2018

提出了一种基于多维高斯混合分析卷积的深度学习方法，该方法通过高斯混合卷积核和数据产生多个特征通道，使用高斯混合拟合来代替传统的转移函数（如 ReLU），并在适当减少高斯混合成分数量的情况下进行汇集，基于该架构的网络在封装 MNIST 和 ModelNet 数据集的高斯混合物上达到了竞争性的准确性。

Feb, 2022

本文介绍了一种基于深度学习神经网络输出层的高斯过程集成方法，利用最近邻条件独立性实现高斯过程的可伸缩性，提供了模型的不确定性量化和更准确、更健壮的预测，通过实验验证了这种方法的实用性和内部机理。

May, 2023

本研究提出了一种概率稀疏性先验，用于建模相对于通用基的稀疏性，并设计了一个神经网络作为线性逆问题的贝叶斯估计器。通过与常用的稀疏性促进正则化技术进行比较，我们的重建方法在所有使用的一维数据集上均表现出更低的均方误差值。

Jan, 2024

本论文使用了基于随机推理网络的镜像梯度下降算法来实现高斯过程模型的推理，该算法针对大规模数据的情况具有可扩展性和易实现性，并且在实验中取得了与现有稀疏变分高斯过程方法相当甚至更好的表现。

May, 2019

本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

May, 2021

在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。

Nov, 2023

使用深度学习方法对协方差进行估计，并提出了一种全局学习神经网络并将其应用于推理时间。利用最新的自监督基础模型的先进技术，通过简单地对不同样本进行掩蔽并学习预测它们的协方差，训练网络而无需任何标记。该架构基于流行的注意机制，其主要优点是在没有任何分布假设或正则化的情况下自动利用全局特征。它可以作为基础模型进行预训练，然后用于各种下游任务，例如雷达或高光谱图像中的自适应目标检测。

Mar, 2024