关键词neural tangent kernel theory
搜索结果 - 7
- 深度集成中的紧密等变性
我们证明深度集成模型是等变的，通过使用数据增强，可以使深度集成模型在所有输入和训练时间上表现出等变性。关键是等变性在远离流形区域和无限宽度条件下的任何架构都成立。我们利用神经切向核理论推导出这一结果，并使用详细的数值实验验证了我们的理论见解 - 分析谱算法在幂律衰减下的泛化误差曲线
通过分析核回归方法的泛化误差曲线，提供了大量分析谱算法和核梯度下降方法的泛化误差曲线的全面特征描述，进而深化了核插值的不一致性和高资格核回归算法的饱和效应等的理解，这些结果极大地改善了我们对训练宽神经网络泛化行为的认识。值得独立关注的新技术 - 超参数化神经网络的有效不确定性量化和减少
使用一种名为 PNC 预测器的方法，仅使用一个辅助神经网络，并结合适当的低计算重采样方法，以最低限度的开销建立了几种方法，利用仅四个训练网络就能构建渐近精确覆盖置信区间。
- 量子 Kerr 学习
该研究论文探讨了量子机器学习中基于内核的方法，使用神经切向核理论，Kerr 非线性的一阶微扰理论和非微扰数值模拟，以及基于电路 QED 的实验协议来展示在收敛时间和泛化误差方面能够实现一些‘量子增强’。
- 使用深度内核整形快速训练深度神经网络，无需跳跃连接或标准化层
通过神经切线核理论和 Deep Kernel Shaping 方法，我们成功控制了深度神经网络的初始化时间内核函数的 “形状”，实现了无归一化层的残差网络的快速 SGD 训练，并同时提高了一些传统上性能非常差的激活函数的结果。
- 过参数化神经网络的一致泛化界
本文介绍了神经网络中过度参数化情况下的泛化误差及其相关的新理论，即神经切向核理论，通过该理论的信息获取量计算出学习问题的复杂度并证明了泛化误差的上界，同时讨论了该理论对于强化学习领域的应用。
- 线性化神经网络在泛化方面的实际表现
该论文通过对神经网络和它们的线性近似在不同任务上的行为进行系统比较，提供了强有力的实证证据来确定近似的实际有效性，发现网络并不总是表现优于其核近似，并揭示了性能差距很大程度上取决于网络架构、数据集大小和训练任务。此外，研究发现网络在训练过程