ICMLDec, 2023

神经网络中的函数空间正规化：概率视角

PDF
TL;DR神经网络优化中的参数空间正则化是提高泛化能力的基本工具，但是标准的参数空间正则化方法使得将对期望预测函数的显式偏好编码到神经网络训练中变得具有挑战性。本文从概率的角度来看待神经网络的正则化，并展示了通过将参数空间正则化视为对模型参数的经验先验分布的规定，我们可以推导出一种概率上合理的正则化技术，使得将有关对期望预测函数的信息明确编码到神经网络训练中成为可能。这种方法被称为函数空间经验贝叶斯（FSEB），包括参数空间和函数空间的正则化，数学上简单、易于实现，并且与标准正则化技术相比，仅产生很小的计算开销。我们通过实证评估这种正则化技术的效用并证明了所提出的方法在语义转移检测、高度校准的预测不确定性估计、从预训练模型进行任务适应和在协变量转移下改进泛化能力等方面具有接近完美的性能。
parameter-space regularizationneural network optimizationprobabilistic perspectivefunction-space empirical bayesregularization techniques
发现论文，激发创造
  • 深度贝叶斯分类的函数空间正则化

    文章探讨了一种在预测空间中采用 Dirichlet 先验和进行近似函数空间变分推理的方法，通过该方法，可以将相同的函数空间先验合并到不同的模型中，提高可扩展性，改进不确定性量化和敌对抗性。

    Jul, 2023

  • 序列学习神经网络的函数空间参数化

    通过将神经网络从权重空间转化为函数空间的双参数化技术，我们解决了渐进学习方法在深度学习中的挑战，包括融入新数据和保留先前知识等问题。该技术在大规模数据集上通过稀疏化实现了函数空间方法的可扩展性，同时在有限访问过去数据时保留先前知识，并且在不需重训练的情况下融合新数据。我们的实验表明，我们能够在持续学习中保留知识并高效地融入新数据。此外，我们进一步展示了该技术在不确定性量化和基于模型的强化学习中的优势。详情和代码可在项目网站上找到。

    Mar, 2024

  • 神经网络的稀疏函数空间表示

    我们提出了一种方法，通过将神经网络从权重空间转换为函数空间，来解决深度神经网络缺乏不确定性估计和难以整合新数据的问题。这种双重参数化的方法使我们能够制定出捕捉整个数据集信息的稀疏表示，为捕捉不确定性提供了一种紧凑而有原则的方式，并且能够在保持预测性能的同时整合新数据而无需重新训练。我们通过在 UCI 基准任务上的有关监督学习的不确定性量化的概念验证演示来支持所提出的方法。

    Sep, 2023

  • 通过顺序函数空间变分推断进行连续学习

    连续学习方法通过顺序贝叶斯推断模型对神经网络进行优化，使得神经网络对新任务的适应性更好、拥有更灵活的变分分布和更有效的正则化，从而实现更好的预测准确性。

    Dec, 2023

  • 贝叶斯神经网络中可行的函数空间变分推理

    在这篇论文中，我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法，该方法明确地将贝叶斯推断应用于神经网络，并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能，并证明其在安全关键的医学诊断任务中表现出色。

    Dec, 2023

  • 函数空间中变分推断的理解

    本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用 Kullback-Leibler divergence 方法的优劣，提出了基于 Bayesian linear regression 的 benchmark 方法来评估预测质量和后验近似质量。

    Nov, 2020

  • 贝叶斯神经网络的函数空间粒子优化

    本文提出了一种在回归函数空间中直接执行粒子优化的方法，以克服高维和过度参数化的贝叶斯神经网络（BNN）的后验推断挑战，并在许多任务中取得了良好的表现，包括预测、对抗样本防御和强化学习。

    Feb, 2019

  • 我们应该学习最可能的函数还是参数？

    使用神经网络时，参数空间最大后验估计（MAP）推断会导致病态解，但通过直接估计模型和数据所隐含的最可能函数，可以获得更平坦的最小值、更好的泛化性能和更强的抗过拟合能力。

    Nov, 2023

  • 贝叶斯神经网络中用于明确定义函数空间变分推断的正则化 KL 散度

    Bayesian 神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择，而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题，我们使用了一种基于广义 VI 的方法结合正则化的 KL 散度，可以被认为是 BNN 中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明，我们的方法在合成数据和小型现实世界数据集上具备 GP 先验指定的特性，并与基于函数和权重空间先验的 BNN 基线相比，在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。

    Jun, 2024

  • 神经网络函数空间距离的高效参数逼近

    本文提出了一种名为 LAFTR 的线性激活函数技巧，并对 ReLU 神经网络的 FSD 进行有效的近似，具有更小的内存需求并用于持续学习，准确估计影响函数并检测错误标记的示例。

    Feb, 2023