memorization capacity | BriefGPT

关键词memorization capacity

搜索结果 - 7

MM神经切向核的正性
对于任何非多项式激活函数，神经切向核（NTK）是严格正定的，这个结果与宽神经网络的记忆能力直接相关。
PDF3 months ago
神经网络的记忆化：超越最坏情况
通过采用特定实例的观点，本研究论文调查了神经网络的插值方法，引入了一个简单的随机算法，通过固定的有限数据集，高概率地构建了一个可以插值的三层神经网络，其所需参数数量与两个类别及其相互排列的几何属性有关，从而获得了与样本数无关的保证，并通过大
PDF9 months ago
探究医学图像合成中 3D 潜在扩散模型中的数据记忆
研究了生成潜在扩散模型在医疗成像数据生成方面的应用，评估了其对敏感病人培训数据的记忆能力并提出了缓解记忆的策略。
PDFa year ago
ICLR具有条件计算的神经网络的记忆容量
研究神经条件计算的基本限制和记忆能力，展示条件 ReLU 网络可以用更少的算术操作完成相同任务，还介绍了一种将无条件网络合成为条件网络的有效方法。
PDFa year ago
ICML深度 ReLU 网络神经切向核最小特征值的严密界限
本文通过对神经切向核的分析，提供深度 ReLU 网络 NTK 矩阵的最小特征值的紧密界限，考虑了有限和无限宽度的极端情况，研究了神经网络的内部特征矩阵的最小奇异值和输入输出特征映射的 Lipschitz 常数的上界。
PDF4 years ago
Mehler 公式，分支过程和深度神经网络的组合核函数
通过 Mehler 公式探究组合内核和分叉过程之间的连接，研究了深度神经网络的数学作用。此外，提出了一种新的随机特征算法，并研究了组合内核的特征值，进一步说明了相应再生核希尔伯特空间的复杂性。
PDF4 years ago
小型 ReLU 网络具有强大的记忆能力：记忆容量的严密分析
研究了 ReLU 网络的有限样本表达能力，证明了 3 层 ReLU 网络可以通过利用深度，并需要大约根号 N 个节点即可完美记忆大多数 N 个数据点，并证明大约根号 N 个节点是记忆 N 个数据点的必要和充分条件，同时证明当 W = Ome
PDF6 years ago