May, 2018

解决灾难性遗忘的在线结构拉普拉斯近似

PDF
TL;DR介绍了 Kronecker 因式分解的在线 Laplace 近似方法，用于克服神经网络中的灾难性遗忘问题，该方法建立在贝叶斯在线学习框架的基础上，以高斯分布递归逼近后验概率，通过计算模牛顿法到达二阶导近似，利用 K-FAC 近似方法实现可扩展性，50 个 MNIST 图像数字识别测试中达到 90% 的准确率，明显优于其他相关方法。
发现论文，激发创造
  • 在线拉普拉斯模型选择再探

    本文重新推导了在线 Laplace 方法，表明它们针对一种在模型选择问题中纠正了模态的 Laplace 证据的变分界。在线 Laplace 方法以及其纠正模态的版本在近乎平稳点上实现最优解，通过应用于 UCI 回归数据集，优化关键参数并防止过拟合，优于传统的早期停止方法。

    Jul, 2023

  • 使用单侧过度估计的不对称损失逼近进行持续学习

    本文提出了一种利用非对称二次函数逼近真实损失函数的方法来解决深度神经网络中的灾难性遗忘问题和大规模任务可扩展性问题的连续学习框架，并通过多个挑战性基准数据集的实验结果表明该方法优于现有方法，且可达到接近上限性能。

    Aug, 2019

  • 扩展 Kronecker 分解近似曲率的续学习

    提出了一种二次罚函数方法用于神经网络的不断学习，其中包含批量归一化层。通过考虑实例间的关系，扩展了 K-FAC 方法，以便在实际情况下正确逼近深度神经网络的 Hessian 矩阵。同时提出了一种权重合并和再参数化方法，并且对批归一化的统计参数进行了适当处理。实验结果表明，该方法在各项指标上均优于基准算法。

    Apr, 2020

  • 揭示拉普拉斯近似用于不确定性估计的经验病理

    本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法，重点关注广泛应用的 Laplace 近似及其变体。我们的研究发现，传统的拟合 Hessian 矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点，认为仅关注优化先验精度可以在超出分布检测中产生更准确的不确定性估计，并保持适度的校准度。此外，我们证明了这种特性与模型的训练阶段无关，而是与其内在性质相关。通过广泛的实验评估，我们证实了我们简化方法在超出分布领域中优于传统方法的优越性。

    Dec, 2023

  • 贝叶斯参数高效微调克服灾难性遗忘

    通过使用贝叶斯学习技术和 Laplace 逼近，我们展示了在更通用的参数高效微调（PEFT）框架中如何解决灾难性遗忘问题，并比较了使用对角和克罗内克逼近的方法在预训练知识保留上的性能差异。

    Feb, 2024

  • 应对少样本问题中的灾难性遗忘

    引入一种贝叶斯在线元学习框架来解决少样本分类问题中的灾难性遗忘问题，并通过实验验证与各种基线方法相比可以有效地实现该目标。

    Apr, 2020

  • 贝叶斯深度学习中的无 Hessian Laplace

    在该研究中，我们提出了一种利用拉普拉斯近似的替代框架，通过使用后验的曲率和网络预测来估计方差，既避免了计算和翻转黑塞矩阵的步骤，又能够在预训练网络中高效地进行。实验证明，相比于精确和近似黑塞矩阵，该方法表现相当，并具有良好的不确定性覆盖范围。

    Mar, 2024

  • Laplace 近似下的可学习不确定性

    本文提出一种方法来训练拉普拉斯逼近神经网络中的不确定性，介绍了用于拉普拉斯逼近网络的不确定性单元，并通过不确定性感知目标来训练这些单元，以提高在不同不确定性量化任务中的性能表现。

    Oct, 2020

  • 基于正则化的持续学习的优化和泛化：一种损失逼近的视角

    本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

    Jun, 2020

  • 混合拉普拉斯逼近以改善深度学习后验不确定性

    本文介绍了一种基于高斯混合模型后验的预测方法，通过对独立训练的深度神经网络的拉普拉斯近似加权求和，可以缓解深度神经网络对离群值的过于自信预测问题，并在标准不确定性量化基准测试中与最先进的基准进行了比较。

    Nov, 2021