探究后者如何通过对神经网络训练的分析来理解去偏好能量曲面,而提出了投影映射以减少神经元维度并最小化其超球能量的压缩最小超球能量作为神经网络的更有效的正则化方法。
Jun, 2019
本文提出了一种新的关系规范化方法 —— 超球均一性,以影响神经元之间的相互作用,进而为神经网络打下适当的归纳偏差,从而实现对新数据的良好泛化。
Mar, 2021
本文提出基于超图正则化能量函数的多个超图神经网络,论述了如何将最小化这些能量的结点嵌入技术,与参数化分类器结合进行端到端训练的过程,并通过实验证明了其优秀性能。
Jun, 2023
该研究提出了一种新的正交超参数训练 (OPT) 框架,该框架可以证明地最小化描述神经元多样性的超球面能量,通过保持最小超球面能量来提高神经网络的泛化能力。
Apr, 2020
本文提出了一种名为 AnnealSGD 的正则化随机梯度下降算法,可以通过对一个特定类别的深度网络的能量景观进行分析来获得启示,从而优化损失函数。
Nov, 2015
本研究利用 Hamilton 力学来为神经网络提供更好的归纳偏差,使其能够在自我监督的状态下学习并遵守物理中的守恒定律;研究表明我们的模型在能量守恒等问题上具有更快的训练速度和更好的泛化性能,并且是一个完全可逆的时间模型。
研究了负球面感知器模型中的能量壁垒、简单连接性质和优化动力学,并通过计算和数值模拟表征了解决方案空间的组织结构和转换过程。
May, 2023
研究发现,神经网络的能量场通常是平坦的,在极小值点之间存在足够的容量进行结构性变化,且每个极小值点至少有一个消失的 Hessian 特征值。
Mar, 2018
介绍了一种被称为 HIP-NN 的神经网络模型,利用诸如能量等的物性解析为层级术语总和,可以精准预测 131k 个有机分子的能量,并且可以用于分子动力学轨迹的预测。模型的分层结构有助于识别模型不确定性。
Sep, 2017
本文提出了一种结合核密度估计和经验贝叶斯方法的新的非监督学习目标,并把优化问题抽象成为高维球体的交互。基于这一机制我们提出了两种新的算法框架:基于 Langevin MCMC 和经验贝叶斯的 “步进 - 跳跃” 采样方案和一个概率框架用于联想记忆,称为 NEBULA。
Mar, 2019