本文介绍了一种在线学习连续 SPN 与高斯叶的结构和参数的技术，使得 sum-product 网络的结构学习和参数学习更为便捷。

Jan, 2017

通过将线性操作分解为较简单线性操作之和的乘积，我们提出了一种可以减少深度神经网络可训练模型参数数量的通用框架，用于各类神经网络结构，并展示了基于该框架的算法在 MNIST 和 Fashion MNIST 数据集上的表现。此外，我们探究了一种新的卷积层变换方法，不再需要卷积操作，这种方法可以任意改变可训练参数数量，并通过使用该框架在 MNIST 数据集上的实验验证了可用更少的参数获得更高的准确率的优点。

Sep, 2018

研究浅层神经网络在过参数化情况下，如何使用二次激活函数进行训练并找到全局最优解，结果表明此方法适用于具有任意输入 / 输出对的任何训练数据，并可使用各种本地搜索启发式方法高效地找到全局最优解。同时，对於差分激活函数，我们也证明了梯度下降法在得到合适的初值后可以以线性速度收敛到全局最优解，它的输入来自符合高斯分布的选定属性且标记是通过种植的重量系数生成的。

Jul, 2017

文章介绍了将 sum-product networks 扩展到更广泛的学习问题并确保可解，同时应用于结构化预测问题上取得了很好的效果，实验表明模型学习的可行性和广泛性。

Nov, 2016

本文提出了一种新的基于 SPN 和深度神经网络的概率深度学习模型，称为 RAT-SPNs，该模型具有充分评估数据似然，任意边缘化和条件任务的优势，并且仍然可解释为生成模型，并保持了良好的校准不确定性，从而使其高度鲁棒性和自然地检测异常值和独特样本。

Jun, 2018

提出了一种新型深层架构 —— 求和积网络（SPN），通过学习和推理，SPNs 能够实现比标准深层网络更快和更准确的图形建模推理，例如在图像完成任务方面表现优异。

Feb, 2012

本论文探讨深度学习模型的深度与优化之间的关系，通过对过度参数化模型的研究，发现适度的增加模型层数可以作为预处理器减轻优化量，加速模型的训练。

Feb, 2018

本文介绍通过将高斯过程嵌入可计算的和积网络中，实现灵活的先验函数分布，从而实现计算和内存高效、容易实施后验推理的概率回归模型。

Sep, 2018

通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

Nov, 2018

通过导出一种新的 Gibbs 采样的全部条件概率，通过边际化多个随机变量来快速获得后验分布，我们提出了一种可用于大规模 sum-product networks 的贝叶斯学习方法，同时还提出了一种超参数调优方法，通过在大规模 sum-product networks 中平衡先验分布的多样性和优化效率，改进了学习时间复杂度，并在超过 20 个数据集的数值实验中展示出了十倍到一百倍以上的计算速度和优秀的预测性能。

Jun, 2024