本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法，其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题，并通过将权重建模为高斯随机变量的方法，使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示，并与现有技术进行了比较。
Oct, 2021
本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet，通过随机性避免了对 sign () 等不可微函数的梯度的逼近，并仍在测试时获得完全的二进制神经网络。 此外，它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。
Sep, 2018
本文提出了一种全新的方法，即基于贝叶斯推断框架通过闭式计算对感知机进行训练和预测，其中感知机的权重和预测被视作高斯随机变量，为常用的激活函数，如 sigmoid 或 ReLU 提供了预测感知机输出和学习权重的解析表达式，该方法不需要计算昂贵的梯度计算，进一步允许顺序学习。
Sep, 2020
本文从学习的角度对神经网络中的二值化操作进行了形式化描述，并提出了一种从全精度神经元映射到目标二进制神经元的映射方法，其采用了一种无偏估计方法以减轻监督噪声的影响，实验证明该二值化技术能够优于基准方法。
Oct, 2020
将离散逻辑约束注入神经网络学习是神经符号人工智能领域的主要挑战之一。本文发现，直通估算器这一用于训练二进制神经网络的方法可有效应用于将逻辑约束纳入神经网络学习中。我们设计了一种系统的方式将离散逻辑约束表示为一个损失函数；通过梯度下降，利用直通估算器最小化该损失函数可以使得神经网络的权重朝着使二值化输出满足逻辑约束的方向更新。实验结果表明，通过利用 GPU 和批次训练，这种方法比现有的需要进行大量符号计算来计算梯度的神经符号方法具有更好的可扩展性。此外，我们证明了该方法适用于不同类型的神经网络，如多层感知机（MLP）、卷积神经网络（CNN）和图神经网络（GNN），使它们能够通过直接从已知约束中学习来学习了无标签数据或更少标签数据。
Jul, 2023
本文提出了一种二元随机学习算法，通过引入随机二元化，有符号二元化和分步权重更新，修改了所有基础神经网络操作，不需要高精度的处理，可以在硬件中实现，提高了神经网络系统的能效，并较高精度学习算法更有效。
Apr, 2023
本文说明了许多机器学习算法都是贝叶斯学习规则的特定实例，该规则源于贝叶斯原则，从优化、深度学习和图形模型等领域得出一系列算法。我们的工作不仅统一，泛化和改进了现有算法，而且还帮助我们设计新的算法。
Jul, 2021
提出了一种新的、高效的、基于 Backprop 的方法 Bayes by Backprop，用于在神经网络的权重上学习概率分布，通过最小化压缩成本（即变分自由能或边缘似然的预期下界）来规范权重。该方法在 MNIST 分类的任务上表现出与 dropout 相当的性能。在非线性回归问题中，学到的权重的不确定性可以用来提高泛化能力，并且可以用来驱动在强化学习中的探索和开发之间的平衡。
May, 2015
本文研究二值神经网络在生成模型中的应用，通过开发一类新的二值权重规范化方法和提供针对这些二值化生成模型的架构设计，成功地训练出使用二值神经网络的生成模型，使得模型的计算成本大幅降低，但损失函数的值接近于原模型，模型体积更小且速度更快。
本文提出了一种基于贝叶斯持续学习框架，以及在线学习规则用于进行神经形态工程，以实现能够适应变化学习任务的特性和风险管理，同时产生良好校准的不确定性估计的真正的神经形态系统的设计。
Aug, 2022