稳健识别深度神经网络的最小样本下纠缠权重的稳定恢复
本文提出一种方法，通过跟踪神经网络在优化过程中的权重轨迹从而计算 DNN 的权重分布，进而通过从这些分布中抽样网络来评估 DNN 的认知不确定性。该方法无需更改架构或训练过程，在标准分类和回归基准测试以及分类和语义分割的混淆数据检测上具有竞争性的结果，同时保持较高的计算效率。
Dec, 2019
本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。
May, 2021
提出了一种基于熵的稳定性可塑性方法来解决神经网络中的稳定性 - 可塑性困境，该方法在自然语言和图像领域的实验表明其可以通过减少干扰来利用先前知识，并在某些情况下可以冻结层以加速训练。
Apr, 2022
本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。
May, 2018
使用贝叶斯和集成方法，在深度学习中处理不确定性量化和跨分布检测问题，通过最大熵原则来解决预测多样性不足的问题，提出了一种权重参数化的方法，通过奇异值分解来增加权重熵以实现更有效的算法。
Sep, 2023
本研究旨在探讨利用收集的神经元电信号数据，结合神经科学的领域知识，通过一定的条件，实现高维组合函数的稀疏非线性模型复原。研究发现，权重的符号约束是实现神经电路模型复原的必要条件，并在模拟生物电路实验中，通过理论和实验得出了相关结论，最终在小鼠视网膜的视神经元电路数据中对实验进行了案例研究，展示了本方法在实践中的潜力。
Jun, 2021
使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。
Jun, 2017
本研究解决了深度神经网络输出不稳定的问题，通过提出一种稳定训练方法，使其能够应对常见图像处理带来的输入扭曲，并在大规模近似重复检测、类图像排序和嘈杂数据集分类等方面取得了鲁棒且最先进的性能。
Apr, 2016
本文提出了一种基于稀疏贝叶斯方法，用于处理深度神经网络在系统辨识中面临的过拟合、非线性输入回归选择和参数不确定性等挑战，此方法可行且有效，并在多个线性和非线性系统辨识实验中获得了好的仿真精度。
Jul, 2021