深度学习的概率论理论
介绍了一种称为贝叶斯深度学习的统一框架,将深度学习和贝叶斯模型紧密融合,以提高高层次推理的性能并增强深度学习的感知能力。讨论了它在推荐系统、主题模型和控制等领域的应用,以及与贝叶斯神经网络的关系和区别。
Aug, 2016
综合人工智能系统需要不仅能够用不同的 ` 感官 '(例如视觉和听觉)感知环境,还需要推断世界的条件(甚至因果)关系及其对应的不确定性。本文综述了贝叶斯深度学习的基本原理及其在推荐系统、主题模型和控制等领域的应用,讨论了贝叶斯深度学习与神经网络等其他相关主题之间的关系和差异。
Apr, 2016
本文探讨了一种更具生物学可行性的深度表示学习方法,通过一种基础学习规则(即基于突触权重更新的时序相关型可塑性)引出一种机器学习的梯度下降算法,利用神经元动态学实现了近似的变分 EM 算法,提出了使用去噪自编码器实现梯度的方法,并将其在生成学习任务上加以验证。
Feb, 2015
Developed a probabilistic framework for deep learning based on the Deep Rendering Mixture Model (DRMM), which captures variations in data due to latent task nuisance variables and provides a principled route to the improvement of deep convolutional neural networks (DCNs). The DRMM is a powerful alternative to DCN back-propagation, leading to faster training and achieving superior accuracy in supervised digit classification along with state-of-the-art results on the MNIST benchmark and competitive results on the CIFAR10 benchmark in semi-supervised and unsupervised learning tasks.
Dec, 2016
提出了一种基于预测处理理论的神经生成模型计算框架,通过构建神经元层次结构,预测邻居神经元的工作并根据预测与观测结果的差异更新神经元参数来训练模型,实验结果表明,该模型在多个基准数据集和度量标准上表现出色,并具有与功能类似的其他生成模型相媲美甚至优越的性能。
Dec, 2020
本研究回顾了深度学习的鲁棒性问题,尤其是从近似理论到统计学习理论的关注和尝试,并回顾了贝叶斯深度学习作为不确定性量化和严格可解释性的一种手段。
Jul, 2023
本文介绍了两种轻量级的方法,使具有概率性的深层网络的监督学习变得实用,首先,我们建议使用分类和回归的概率性输出层,其对现有网络只需进行最小的更改,其次,我们使用假设密度过滤(assumed density filtering)并展示如何将激活不确定性以实用的方式传播到整个网络中,这两种概率性网络保留了确定性网络的预测能力,但产生与其预测引起的经验误差相关的不确定性。
May, 2018
这篇文章介绍了关于神经网络的统计理论,从三个角度进行了综述:非参数回归或分类中关于神经网络过度风险的结果,神经网络的训练动力学以及生成模型中的最新理论进展。
Jan, 2024