通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Jun, 2018

离散选择模型是一个强大的框架，用于分析决策行为，为决策者和企业提供有价值的洞察。GAUNet 是一种基于广义可加模型的神经网络结构的效用函数，用于离散选择模型。在东京的旅行调查数据上，我们的模型与 ASU-DNN 在准确性上相当，并且相对于以前的模型在解释性上有所改善。

Sep, 2023

本论文在研究多层神经网络的优化问题，发现随机梯度下降算法会收敛到一个全局最优点，且这一点具有很好的泛化能力。结果表明，适当的尺度下，随机梯度下降动态可以通过某个非线性偏微分方程捕捉，从而证明了 SGD 的收敛性。

Apr, 2018

本文介绍了贝叶斯神经网络中的概率层、架构和训练方法，并探讨了其扩展传统深度学习的方法，给出了 Tensorflow 的编程实现示例。然而，深层架构的不确定性考虑会让训练成本很高，而混合贝叶斯神经网络的策略可以很好地解决这个问题。

Jun, 2021

使用贝叶斯较量的关键是无脊柱化，这可以提高现代深度神经网络的准确性和校准性，因为这些网络通常被数据欠规范，可以表示许多引人入胜但不同的解决方案。我们展示了深度集合提供了一个近似贝叶斯无脊柱化的有效机制，并提出了一种相关方法，通过在吸引盆地内进行无脊柱化来进一步提高预测分布，而不需要显着的开销。同时，我们还研究了模糊神经网络权重分布所隐含的函数先验，从概率的角度解释了这些模型的泛化性质。最后，我们提供了一个贝叶斯的视角来温和地校准预测分布。

Feb, 2020

该研究介绍了一种使用深度神经网络在概率编程模型中分摊推断成本的方法，并将深度学习与概率编程方法的优势相结合。这种名为 “编译推断” 的方法将用通用编程语言编写的概率程序的语义规范转换为用神经网络规范语言表示的训练过的神经网络，从而实现了原始模型的近似推断。

Oct, 2016

研究了深度神经网络模型类中预测归一化极大似然（pNML）方案及其相关可学习性度量，发现在对抗攻击方面具有鲁棒性，可用于检测样本类别分布不均、噪声标签等情况，且可作为基准学习者竞争的学习器生成 “两次通用” 的解决方案。

Apr, 2019

通过发展概率性深度学习框架，研究人员解释了为什么深度学习算法能够胜任复杂感知推断任务，并发现了这些算法的成功和不足之处，提供了其改进的原则路径。

Apr, 2015

本文提出了一种基于人工神经网络 (ANNs) 的新的离散选择模型 ——“特定备选和共享权重神经网络（ASS-NN）”，它在灵活拟合数据的效用函数的同时，与选择理论和货币可替代性（即 “一欧元就是一欧元”）两个假设保持一致，从而实现了经济一致的结果，如边际效用或支付意愿，无需明确定义效用函数的形式。通过蒙特卡洛实验和来自 Swissmetro 数据集的实证数据，我们证明了 ASS-NN 在不同效用规范下的性能优于传统的多项式对数模型（MNL）。此外，我们展示了如何使用 ASS-NN 来计算边际效用和支付意愿的度量值。

Apr, 2024

研究表明，深度神经网络成功的关键在于结构化数据，以及拥有一种像奥卡姆剃刀一般的归纳偏差，使其能够对抗复杂度呈指数级增长的函数，通过引入贝叶斯图像和随机梯度下降等方法，我们试图将网络架构、训练算法和数据结构三个组件相互分离。

Apr, 2023