关键词neural tangent kernels
搜索结果 - 15
- 无限宽度模型的有效性：为什么特征学习不如你想象的那样重要
无限宽度架构，如神经切向核 (NTK) 在过去显示出与有限模型相比较弱的性能。我们证明这并非如此，实际上，我们展示无限宽度的 NTK 模型能够通过从无限特征向量中选择相关子特征来访问更丰富的特征。事实上，我们实验性地表明，即使在关闭特征学习 - 等变神经切向核
本文首次将等变神经网络和神经切向核相结合，给出了群卷积神经网络的神经切向核的显式表达式，并在医学图像分类任务上通过数值实验证明了等变神经切向核的优越性能。
- EMNLP神经网络中的特征提取机制揭示
我们提出了一种基于神经切向核函数（NTKs）的理论方法来研究神经网络在捕捉精确知识方面的潜在机制，并发现激活函数的选择会影响特征提取，此外我们还发现自注意力模型和 CNN 模型在学习 n 元语法方面的局限性，而基于乘法的模型则在该领域表现出 - 神经切向核激发带有交叉协方差图的图神经网络
神经切向核、对齐、图神经网络、图移位算子和交叉协方差是本研究的关键词，该论文的主要内容是分析过度参数化神经网络的学习和泛化行为的理论机制，以及在图神经网络中优化对齐对图表示和图移位算子的重要性，并通过实验证明使用交叉协方差作为图移位算子的图 - 通过修改核的频谱来控制宽型神经网络的归纳偏差
宽神经网络的收敛速度和可达函数受到一定偏好，因此需要一种可以根据任务修改此偏好的方法。为此，我们介绍了修改光谱核 (MSKs)，这是一种新型的构造核，可用于近似具有所需特征值的核函数，尽管没有已知的闭式形式。我们利用宽神经网络和神经切线核之 - 无监督语音识别理论
本文提出了一个通用的理论框架，用于通过随机矩阵理论和神经切向核理论研究 ASR-U 系统的属性和解决超参数敏感性和训练不稳定等问题，并通过三类转换图上的合成语言的 ASR-U 实验提供强有力的理论依据。
- 贝叶斯深度学习的加速线性化拉普拉斯近似
通过开发一种 Nystrom 近似方法来加速线性化变种 (Laplace Approximation) 和神经切向核 (NTKs) 之间的联系，以解决 Bayesian 神经网络中的非常规低效率问题。该方法通过自动区分前向模式来实现，具有可 - 动量消减物理信息神经网络中的谱偏差影响
本文介绍了物理指导神经网络算法在解决涉及偏微分方程的问题方面的应用，重点研究了在随机梯度下降优化算法下演化的神经网络所用的神经切向核，证实该神经核显著减少了谱偏差的影响，并且通过对广泛神经网络的训练，实验结果表明在高频项存在的情况下，宽度合 - 机器学习中的懒惰性、平台性和噪音
通过对神经网络中变分参数的大量抑制来定义惰性，其中量子情况下的抑制对于随机化变分量子电路的量子比特数量呈指数衰减。我们讨论了惰性与由量子物理学家在文献中创建的量子机器学习中的荒漠高原的差异，对梯度下降期间损失函数的平坦情况进行了讨论。同时， - 关于卷积神经切线和高斯过程核的谱偏差
通过它们各自的高斯过程和神经切向核，研究各种过度参数化的 CNN 架构的属性，并证明了这些核的特征值随着层级特征的组合而多项式地衰减
- 基于量子神经切向核的表示学习
本研究通过分析神经切向核理论，定义了量子神经切向核，推导出其与损失函数之间的动力学方程，探讨了基于变分量子电路的量子机器学习和优化问题的培训动态的分析结果和数值模拟实验的支持结果。
- ICML神经切向核强化联邦学习
该论文提出了一种基于神经切向核的新型联邦学习范式，通过传输比传统联邦学习范式更具表现力的样本级 Jacobian 矩阵，解决了统计异质性的挑战，并进一步开发了一种改进的变体，其在保持相同准确性的情况下，将通信轮数减少了一个数量级。
- ECCV超越盒子：清除深度网络中从输入输出观测可获得的信息
本文介绍了一种消除深度神经网络对训练数据的依赖性的新方法，通过添加与损失梯度共同作用的噪声来实现不断遗忘，同时利用神经切向核的激活和权重动态之间的联系计算信息。
- 利用无限宽深度神经网络在小数据任务中的能力
该研究表明：(a) 在无穷宽度神经网络 (NNs) 上应用 l2 损失 (通过梯度下降法) 训练，并将学习率设置为无穷小，与 (b) 基于所谓的神经切向核 (NTK) 的核回归是相等的。在此基础上，对 NTK 进行高效计算的算法已被提出，表 - ICLR超越线性化：关于宽神经网络的二次及高阶逼近
该研究探讨了超参数化神经网络的训练，通过随机化神经网络，使其模型不再受限于 NTK，允许其与二次模型进行耦合，并且证明了产生的随机网络的优化具有良好的局面性态，且样本复杂度与 NTK 相匹配，同时在分布特定条件下可更为优秀。