Mar, 2024
神经网络中协方差传播的解析解
An Analytic Solution to Covariance Propagation in Neural Networks
Oren Wright, Yorie Nakahira, José M. F. Moura
TL;DR神经网络的不确定性量化对于评估深度学习系统的可靠性和鲁棒性至关重要。本文提出了一种无样本的矩阵传播技术，通过在网络中传播均值向量和协方差矩阵来准确表征神经网络的输入 - 输出分布。我们的技术的一个关键因素是解析解，用于描述通过非线性激活函数（如 Heaviside、ReLU 和 GELU）传递的随机变量的协方差。在对已训练的神经网络和贝叶斯神经网络的输入 - 输出分布进行分析的实验证明了所提出技术的广泛适用性和优点。