本文提出了“稳态特征分析”这一新的方法，通过在未标记的序列视频中训练卷积神经网络，利用各种数据集证明本方法在目标、场景和动作识别等方面的有效性，且其特征甚至可以超过传统的监督式预训练方法。

Jun, 2015

本篇论文系统地回顾了过去十年中随机特征方面的研究进展，包括算法特点、理论结果、基准测试数据集上的表现、分类预测性能等，并探讨了随机特征与深度神经网络之间的关系，有望成为感兴趣的从业者应用代表性算法和理解理论结果的用户指南，并为这个领域的未来研究方向提供一些启示。

Apr, 2020

提出一种利用Gradient Interpolation（GI）正则化模型的时间复杂度的简单方法来解决机器学习模型在时间序列数据上的过拟合问题，结果证明该方法表现优于现有的基线方法。

Aug, 2021

本文探讨了二层ReLU神经网络梯度下降训练过程中的特征学习，研究了使用XOR函数生成的带标签二进制数据，对一定比例的训练标签的干扰具有影响。我们证明了线性分类器并不比随机猜测的效果更好，而使用梯度下降训练二层ReLU神经网络可以达到接近噪声率的泛化误差。我们提出了一种新的证明技术，证明了在初始化时，绝大多数神经元都具有随机特征的性质，与有用特征之间的相关性较弱，而梯度下降动态将这些弱随机特征“放大”为强有用特征。

Feb, 2022

该研究旨在证明具有大深度和L2正则化的DNN在学习输入时会产生“瓶颈结构”（低维表示），并介绍了一种衡量网络内在维度和复杂性/不规则性之间平衡的方法。

May, 2023

随机特征逼近是加速大规模算法中核方法的最流行技术之一，并提供了对深度神经网络分析的理论方法。我们分析了与随机特征相结合的一大类谱正则化方法的泛化性质，包括梯度下降等具有隐式正则化的核方法或Tikhonov正则化等明确方法。对于我们的估计器，我们在适当的源条件下定义的规则性类别（甚至包括不在再生核希尔伯特空间中的类别）上获得了最佳学习速率。这改进或完善了先前在特定核算法相关设置中获得的结果。

Aug, 2023

最近工作表明，基于梯度的学习单指数模型的样本复杂度受其信息指数的控制。然而，这些结果仅涉及各向同性数据，而实际上输入通常包含其他可隐含地指导算法的结构。在本文中，我们研究了一个带尖峰协方差结构的影响并揭示了一些有趣的现象。

Sep, 2023

最近的研究重点研究了深度学习中的隐性偏差，特别是最后一层特征和分类器权重的行为。本文引入了简明的无约束损失函数，提供了更多数学机会来分析封闭动态，同时尽可能少地进行简化或假设。无约束损失允许考虑更多实际技术，如变化的学习率和特征归一化。通过将最后一层特征视为自由优化变量的层剥模型，我们在无约束、正则化、球面约束和神经切向核保持不变的情况下进行了彻底分析。我们研究了将无约束损失与交叉熵（CE）的性能联系起来的情况，其中分类器权重采用特定结构（如简单赫尔曼紧束框架）进行固定。我们的分析表明，这些动态按指数速度收敛到解，这取决于特征和分类器权重的初始化。这些理论结果不仅提供了有价值的见解，包括显式特征正则化和调整学习率以增强无约束损失实际训练的可行性，还将其适用性扩展到其他损失函数。最后，我们通过大量实验证明了这些理论结果和见解。

Dec, 2023

本研究针对慢特征分析与后继表示之间的关系进行了详细比较，揭示了它们在数学特性及信息敏感性方面的相似性。研究结果表明，多种慢特征分析算法的变体可以在马尔可夫决策过程（MDP）中应用，并构建出一系列与后继表示相关的特征值问题，进一步展示了慢特征分析能够生成与后继表示相似的空间字段。

Sep, 2024

本研究针对神经网络缩放法则在内核极限之外提出了一个可解模型，分析了模型大小、训练时间和可用数据总量如何影响性能。我们发现特征学习能够显著提高针对困难任务的缩放能力，提出了一种新的计算优化策略，以适应特征学习领域的参数和训练时间扩展。

Sep, 2024