random feature models | BriefGPT

关键词random feature models

搜索结果 - 5

非布尔函数的未知泛化中的最小度偏差
研究无域推广的随机特征模型和 Transformer 在不同领域数据上的泛化能力，证明了小特征情形下的收敛性，并解释了稀疏目标情形与小特征情形的关系，同时展示了不同数据的情况下 RF 模型和 Transformer 学习能力的差异。
PDF24 days ago
高维回归中的缩放和重标定
用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能，在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的 $S$ 变换特性，从代数的几行直接获得训练和泛化误差的解析公式，能够直观地识别模型性能
PDF2 months ago
扩散随机特征模型
我们提出了一种受扩散模型启发的深度随机特征模型，它具有可解释性，并给出了与具有相同可训练参数数量的全连接神经网络相当的数值结果。我们通过对采样数据分布和真实分布之间的得分匹配性质的属性来推导了随机特征的泛化界限，并通过在时尚 MNIST 数
PDF9 months ago
一种对随机特征模型和两层神经网络进行泛化分析的二元框架
本研究通过对学习 Fp,π 和 Barron 空间中的函数这一问题的探讨，揭示了这些空间的逼近和估计可以在某种意义上等价。这使我们能够将重点放在逼近和估计这一较容易的问题上，当研究两个模型的泛化时。此外，我们通过两个具体的应用程序全面分析了
PDFa year ago
使用随机特征学习的精确性能分析
本文研究无法可知函数的学习问题，主要贡献在于使用高斯数据对这种学习问题进行精确的渐近分析。在特征矩阵的温和正则条件下，本文提供了在低参数与高参数模式下渐近的训练和泛化误差的精确刻画。该分析适用于一般的特征矩阵、激活函数和凸损失函数家族。数值
PDF4 years ago