Oct, 2020

训练速度和模型选择的贝叶斯视角

PDF
TL;DR从贝叶斯角度出发，通过线性模型的训练速度和边缘似然之间的联系揭示其两个主要见解，即模型的训练速度可以用来估计其边缘似然，同时在一定条件下，这个度量量可以预测线性模型组合中模型的相对权重，实验证明这种直觉在深层神经网络的无穷宽度限制和随机梯度下降的训练中也成立，我们的结果揭示了一个指向解释为什么使用随机梯度下降训练的神经网络会偏向于良好泛化的函数的有希望的新方向。
bayesiantraining speedmarginal likelihoodlinear modelsdeep neural networks
发现论文，激发创造
  • 贝叶斯视角下的泛化和随机梯度下降

    研究机器学习中的二个核心问题 —— 如何预测最小值是否能推广到测试集，以及为什么随机梯度下降找到的最小值能很好地推广；探讨了小批量大小影响参数朝向大证据最小值的作用；当学习速率固定时，建议选择使测试集准确性最大化的最佳批次大小。

    Oct, 2017

  • 贝叶斯深度学习与概率泛化的视角

    使用贝叶斯较量的关键是无脊柱化，这可以提高现代深度神经网络的准确性和校准性，因为这些网络通常被数据欠规范，可以表示许多引人入胜但不同的解决方案。我们展示了深度集合提供了一个近似贝叶斯无脊柱化的有效机制，并提出了一种相关方法，通过在吸引盆地内进行无脊柱化来进一步提高预测分布，而不需要显着的开销。同时，我们还研究了模糊神经网络权重分布所隐含的函数先验，从概率的角度解释了这些模型的泛化性质。最后，我们提供了一个贝叶斯的视角来温和地校准预测分布。

    Feb, 2020

  • 通过贝叶斯数据选择实现模型训练加速

    使用轻量级贝叶斯处理和基于大规模预训练模型的即用型零样本预测器，解决了现实场景中标记错误、重复或有偏差的数据在训练中的问题，提高了模型的训练效率。

    Aug, 2023

  • 贝叶斯模型选择，边缘似然和泛化

    这篇研究论文探讨了边缘似然估计在学习约束和假设检验方面的吸引力特性，以及在深度神经网络中超参数学习、神经结构搜索等方面的一些挑战，提出了条件边缘似然作为一种较为实用的修正方法，以更好地反应泛化能力。

    Feb, 2022

  • 深度学习：贝叶斯视角

    本文介绍了一种基于贝叶斯概率论的深度学习方法，并应用于 Airbnb 的国际订房预测，结果表明深度学习对于高维数据预测有较好的表现。

    Jun, 2017

  • 深度学习模型选择的可扩展边缘似然估计

    作为深度学习中模型选择的有前途的边际似然方法由于参数估计上的困难很少被使用。本研究提出了可伸缩的边缘似然估计方法，用于基于训练数据独立地选择超参数和网络结构。该方法建立在拉普拉斯方法和高斯牛顿逼近的黑塞矩阵的基础上，并在标准回归和图像分类数据集上表现优异。此外，该方法还能够在缺少验证数据（例如在非平稳设置中）时提高一般化性能。

    Apr, 2021

  • 贝叶斯深度学习的案例

    贝叶斯方法在深度神经网络中应用广泛，因为它通过边缘化取代优化，能够提高模型的校准性和准确性，并利用神经网络结构中的先验偏好来帮助泛化。此外，最近的贝叶斯深度学习实践进展也提高了模型的准确性、校准性和可伸缩性。

    Jan, 2020

  • 基于贝叶斯视角的随机优化端到端学习

    为了在随机优化中实现端对端学习，我们发展了一种基于贝叶斯解释的算法，并提出了一种训练决策映射的全新算法，用于输出经验风险最小化和分布式鲁棒优化问题的解决方案。通过对合成售货员问题和基于真实数据的经济调度问题进行数值实验，阐明了替代培训方案之间的关键差异以及决策映射的神经网络架构对测试性能的影响。

    Jun, 2023

  • 使用神经切向核的随机边缘似然梯度

    本研究介绍了一种基于贝叶斯模型选择和拉普拉斯逼近的方法，通过引入下界到边缘似然的线性化拉普拉斯逼近，用于选择深度学习的超参数优化，该方法可以使用随机梯度基于优化，并可以利用神经切向核估计。实验结果表明，该估计器可以显着加速基于梯度的超参数优化。

    Jun, 2023

  • 论掩码预训练和边缘似然

    本文研究了带有累积评分函数的遮蔽预训练模型，证明该方法优化模型边际似然，从而取得了预训练的成功效果，并且推荐用类似方法来训练贝叶斯模型，同时还探讨了在大型语言模型中使用遮蔽预训练的主要学习原则。

    Jun, 2023