wide neural networks | BriefGPT

关键词wide neural networks

搜索结果 - 6

MM神经切向核的正性
对于任何非多项式激活函数，神经切向核（NTK）是严格正定的，这个结果与宽神经网络的记忆能力直接相关。
PDF2 months ago
ICLR张量程序 IVb：无限宽度极限下的自适应优化
超越随机梯度下降（SGD），在 Adam 等自适应优化器训练的宽神经网络中出现了哪些新现象？我们展示了：与 SGD 中相同的特征学习和核行为二分法同样适用于各种优化器，包括 Adam—— 尽管使用了非线性的 “核” 概念。我们推导出了相应的
PDFa year ago
通过修改核的频谱来控制宽型神经网络的归纳偏差
宽神经网络的收敛速度和可达函数受到一定偏好，因此需要一种可以根据任务修改此偏好的方法。为此，我们介绍了修改光谱核 (MSKs)，这是一种新型的构造核，可用于近似具有所需特征值的核函数，尽管没有已知的闭式形式。我们利用宽神经网络和神经切线核之
PDFa year ago
ICML无需反向传播的宽神经网络训练方法：基于输入权重对齐的视角
本文通过考虑神经元的宽度，利用神经切向核学习理论研究了神经网络在生物学中的可能模型，并提出了一种基于输入活动相关性的反向传播算法，该方法在低数据环境中表现出与反向传播相当的性能。
PDF3 years ago
神经网络的全球概览
本文回顾了关于神经网络全局和局部损失函数的广泛研究，重点探讨了在某些假设下宽神经网络可能存在亚优局部最小值的性质以及一些修改方法，并讨论了实际神经网络的可视化和经验探索，最后简要讨论了一些收敛结果及其与全局和局部损失函数相关的关系。
PDF4 years ago
最小二乘插值和核的有限下降和受限低等距
本文研究了复制内核希尔伯特空间中数据最小范插值的风险，并发现了这些插值在样本大小方面的非单调性。文中还针对相应的内核提出了新的估计和泛化保证。
PDF5 years ago