随机特征学习的泛化性能
本文提出了一种基于数据依赖评分函数的EERF算法，该算法探索可能特征集并利用有前途的地区，通过实验结果证明了该方法在实现一定泛化误差的情况下需要更少的随机特征量，代码量少且不需要调整参数。
Dec, 2017
本研究通过对深度学习模型的多方面度量，特别是模型对输入扰动的敏感性度量，研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系，并得出结论：训练的神经网络在其训练数据范围内更加鲁棒，这种鲁棒性与泛化能力有关联，而诸如数据扩增和修正线性单元等好的泛化因素会带来更强的鲁棒性。
Feb, 2018
本文回顾了最近一系列训练超参数神经网络和学习随机特征的实证结果及其限制性说明，论述了神经网络的理论困境并对其表现出的令人印象深刻的经验结果提出了仍需克服的挑战。
Apr, 2019
研究了机器学习模型泛化的定量现象，发现基于核回归的大规模神经网络和真实数据的核函数理论分析往往无法捕捉到这些现象，然而基于GCV估算器的实证研究结果表明该方法可以在这种超参数化的情境下准确预测泛化风险，并证明了GCV估算器在满足局部随机矩阵定理时总是可以收敛到泛化风险，最后应用这个随机矩阵理论解释了为什么预训练表示的泛化性更好以及什么因素支配了核回归的放缩定律，该研究揭示了随机矩阵理论对于理解神经表征的性质至关重要。
Mar, 2022
研究了两层神经网络中过参数化对学生-教师框架的影响，发现只有当学生的隐藏层数量指数级大于输入维度时，才能达到完美的泛化。同时计算了其渐进的泛化误差。
Mar, 2023
随机特征逼近是加速大规模算法中核方法的最流行技术之一，并提供了对深度神经网络分析的理论方法。我们分析了与随机特征相结合的一大类谱正则化方法的泛化性质，包括梯度下降等具有隐式正则化的核方法或Tikhonov正则化等明确方法。对于我们的估计器，我们在适当的源条件下定义的规则性类别（甚至包括不在再生核希尔伯特空间中的类别）上获得了最佳学习速率。这改进或完善了先前在特定核算法相关设置中获得的结果。
Aug, 2023
通过对等效模型的参数进行研究，本文通过优化非线性激活函数，实现了对给定监督学习问题的改善，验证了这些优化的非线性函数在回归和分类问题中比常用的非线性函数（如ReLU函数）具有更好的泛化性能，并且缓解了所谓的“双峰下降”现象。
Sep, 2023
基于人类抓住简洁和抽象模式的能力，LoT是一种新颖的用于增强深度神经网络泛化能力的正则化技术，通过辅助学生模型改进主模型，提供反馈以捕捉更具泛化和可教性的关联，实验证明LoT可以有效识别泛化信息，并避免陷入数据复杂模式，是当前机器学习框架中的有价值补充。
Feb, 2024
通过分析随机特征模型在高斯数据的一般监督学习问题中的泛化性能，我们建立了一个在输入维度上的两个主要控制参数：随机特征的数量N和训练集的大小P，都以输入维度D为幂次关系的等效多项式模型。我们的结果证明了N、P和D之间的比例关系，并与数值实验结果定量一致，同时远离渐近极限D→∞，其中至少一个介于P/D^K和N/D^L之间的参数保持有限。
Feb, 2024