neural tangent kernel | BriefGPT

关键词neural tangent kernel

搜索结果 - 108

深度均衡模型与不那么深的显式模型在高维高斯混合模型中几乎等效
使用随机矩阵理论，对深度平衡模型的特征频谱进行深入分析，证明了隐式 CK 和 NTK 的谱行为取决于激活函数和初始权重方差，从而可以通过一个浅层显式网络来设计出相同的 CK 或 NTK。
PDF5 months ago
在脱轨损失及其之外的动力学下
最近的研究重点研究了深度学习中的隐性偏差，特别是最后一层特征和分类器权重的行为。本文引入了简明的无约束损失函数，提供了更多数学机会来分析封闭动态，同时尽可能少地进行简化或假设。无约束损失允许考虑更多实际技术，如变化的学习率和特征归一化。通过
PDF7 months ago
关于雅可比正则化训练神经网络的无限宽度分析
该研究采用无穷宽度分析，证明了深度神经网络及其雅可比矩阵初始条件下，当隐藏层宽度趋近无穷时，它们共同收敛于高斯过程，并通过一种线性一阶常微分方程描述了在所谓鲁棒训练下的多层感知机演化，该方程由一种神经切向核的变体决定。实验证明了理论断言与宽
PDF7 months ago
用神经切线核重新思考对抗训练
本文使用神经切线核（NTK）对敌对训练（AT）过程和性质进行了深入研究，揭示了数据归一化对 AT 的影响以及批归一化层中无偏估计器的重要性，并通过实验探索了内核动力学和提出了更节省时间的 AT 方法，同时利用内核内的频谱特征解决了灾难性过拟
PDF7 months ago
关于编码器型浅层变换器的收敛性研究
该研究建立了关于编码器式浅层 Transformer 的全局收敛理论，从体系结构、初始化和在有限宽度范围内的缩放的角度进行了现实情景的探究。研究重点在于如何解决 Transformer 核心组成部分 softmax 的问题。研究表明，在实践
PDF8 months ago
基于神经网络的回归的高效核替代模型
通过研究神经切线核在代替有限宽度深度神经网络中的性能表现，揭示了核的正则性是性能的关键决定因素，从而提出了一种廉价改进深度神经网络准确性的方法。这一理论框架不仅为使用共轭核代替神经切线核提供了理论基础，而且揭示了不同近似方法的稳健性，为提高
PDF8 months ago
关于平衡模型的神经切向核
这项研究探讨了深度平衡模型的神经切向核（NTK），一种实用的 “无限深度” 架构，通过根求解直接计算出与之相关联的网络的无限深度极限。尽管完全连接的神经网络的 NTK 在宽度和深度同时趋于无穷大时可能是随机的，但我们证明在一些温和条件下，D
PDF8 months ago
广泛深度神经网络的鲁棒过拟合的理论分析：一种 NTK 方法
深度神经网络的对抗训练存在鲁棒过拟合问题，本文通过理论分析提出了神经切线核理论在对抗训练中的扩展，并证明了经过对抗训练的宽深度神经网络可以很好近似为一个线性化的神经网络；进一步，设计了用于无限宽度深度神经网络的对抗训练算法 Adv-NTK，
PDF9 months ago
关于超参数神经网络理论与实践之间的脱节
通过对无限宽度极限进行实证研究，我们的结果表明：无限宽度极限理论不适用于实际的优化、不确定性量化和持续学习问题，进而对于无限宽度极限的实际相关性提出了质疑。
PDF9 months ago
无限宽度双层 ReLU 神经网络的同伦放松训练算法
本研究提出了一种名为同伦松弛训练算法（HRTA）的新型训练方法，旨在加速传统方法中的训练过程。算法融合了两种关键机制：一种涉及构建一个同伦激活函数，将线性激活函数和 ReLU 激活函数无缝连接；另一种技术涉及松弛同伦参数以增强训练的精细化过
PDF9 months ago
修复 NTK：从神经网络线性化到精确的凸规划
该研究旨在解释门控 ReLU 网络的凸规划问题并建立其与神经切向核（NTK）之间的联系，通过迭代重新加权来提高 NTK 引导的权重以获得最优的多核学习（MKL）核，该核等同于凸规划问题的解，并提供了对最优核的预测误差的分析结果，并通过群套索
PDF9 months ago
我们需要多少个神经元？使用梯度下降算法训练的浅层网络的精细分析
我们在神经切向核（NTK）范围内对使用梯度下降（GD）训练的两层神经网络的泛化性质进行分析，对于早停止的 GD，我们得到了在再现核希尔伯特空间的非参数回归框架中已知为最小化最优的快速收敛速度；在此过程中，我们准确地跟踪了泛化所需的隐藏神经元
PDF10 months ago
解决图神经切向核是否等同于训练图神经网络？
NTK 是理论深度学习领域的一个新兴趋势，通过 Neural Tangent Kernel（NTK）理解深度学习的工作原理。本文中，我们提供了三个新的理论结果，首先正式证明了基于图的回归问题中 GNTK 与无限宽度的多层图神经网络通过梯度下
PDF10 months ago
大维数情况下核回归的最优速率
对大维数据的核回归进行研究，利用 Mendelson 复杂度和度量熵的上界和下界来表征核回归的极小二乘误差率，进一步确定最优极小二乘误差率，并发现该曲线沿着参数变化时呈现多次下降行为和周期平台行为，同时也适用于神经切线核和宽神经网络。
PDF10 months ago
递归神经网络在符合遍历性数据序列上训练的核极限
开发数学方法来表征随着隐藏单元数量、数据样本序列、隐藏状态更新和训练步骤同时趋向于无穷大，递归神经网络（RNN）的渐近特性。通过研究联合随机代数方程的无穷维 ODE 的解，我们证明了简化权重矩阵的 RNN 收敛到一个无穷维 ODE 的解与固
PDF10 months ago
ICML有限分类模型的精确核等价性
我们通过从梯度下降训练的任何有限大小参数化分类模型中推导出的首个完全表示，探索了神经网络和核方法之间的等价性，并将我们的精确表示与著名的神经切向核 (NTK) 进行比较，并讨论相对于 NTK 和其他非精确路径核公式的近似误差。我们通过实验证
PDFa year ago
ICML用于高效语言模型微调的 NTK - 逼近 MLP 融合
通过使用神经切向核（NTK）逼近多层感知器模块（MLP）的预训练语言模型（PLM），提出了一种轻量级 PLM 压缩方法，通过重新考虑 MLP 作为子 MLP 集合并将其聚类为给定数量的重心，进而恢复为压缩的 MLP，惊人地显示出良好逼近原始
PDFa year ago
ICML深度神经网络的惰性训练下的良性过拟合
该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。
PDFa year ago
神经（正切核）崩塌
本研究介绍了神经切比雪夫核（NTK）和神经塌缩（NC）现象对深度神经网络（DNN）训练的影响，提出了经验 NTK 应发展为与类标签对齐的块状结构，分析了 DNN 的动态并证明了块状 NTK 中存在 NC 现象。通过数值实验验证了理论的正确性
PDFa year ago
切线空间中的任务算术：预训练模型的改进编辑
本文提出任务算术学，通过线性化对其进行微调，分析了任务算术的机制及作用，强调权重分离是使其有效的关键因素之一。同时，证明其会对多个任务算术基准和多样化模型的表现产生显著的性能提升；并探讨了任务算术与 NTK 空间本征函数的空间本地化之间的联
PDFa year ago