ntk | BriefGPT - AI 论文速递

关键词ntk

搜索结果 - 6

探索神经网络的现象学理解：数据
从集成变量构建的神经网络理论可以帮助科学家更好地理解学习过程。本研究引入了熵和经验神经切向核（NTK）的迹这两个变量，通过这些变量分析神经网络性能，发现起始熵、NTK 迹和训练后计算的模型泛化之间存在相关性。同时，将该框架应用于神经网络训练
PDFa year ago
ICLR四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角
利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4
PDF3 years ago
ICML关于使用线性宽度进行深度 ReLU 网络梯度下降全局收敛的证明
本文利用 Lipschitz 性质，仅需跟踪最后一个隐藏层的输出的演变，即可证明标准平方误差梯度下降可在单个宽层的 ReLU 网络中实现全局收敛，并显示了一些其跟先前的技术相比的改进。
PDF3 years ago
拉普拉斯核与神经势核之间的相似性
该论文阐述了大规模超参数神经网络等效于使用神经切核（NTK）的核回归器；将 NTK 与完全连接网络的标准拉普拉斯核相比较，理论和实验证明两个核具有相同的特性和功效，因此在神经网络的分析中将标准拉普拉斯核作为一个简单的表达式有很多作用。
PDF4 years ago
神经网络早期学习动力学的出乎意料的简单性
本文证明，对于一类良好行为的输入分布，一个双层全连接神经网络的早期学习动态可以通过在输入上训练简单的线性模型来模仿。关键在于通过约束初始时的神经切向核（NTK）和数据核的仿射变换之间的谱范数差异来赋值。我们还表明，这种令人惊讶的简单性可以在
PDF4 years ago
神经频谱对齐：实证研究
本文通过对神经网络优化过程中的经验性探索，发现神经切向核（NTK）在实际应用中会随着优化而发生重要的和有意义的变化，尤其是它的前几个特征向量会朝向神经网络所学习的目标函数，并成为神经网络输出的基础函数
PDF5 years ago