通过折叠数据流形中的特征维度，衡量神经网络的特征依赖性
现代深度神经网络在各种任务中取得了高性能，研究人员最近注意到这些网络的权重、Hessian 矩阵、梯度和特征向量中存在低维结构，这种低维结构在不同的数据集和架构上进行训练时都能观察到。在本文中，我们在理论上证明了这些观察结果的发生，并展示了如何在一个可以被分析地考虑的广义非约束特征模型中统一这些观察结果。特别地，我们考虑了一种先前描述的结构，称为神经坍缩，以及它的多层对应物，即深度神经坍缩，在网络接近全局最优解时出现。这种现象解释了观察到的其他低维行为，比如在 Hessian 谱中观察到的批量和离群结构，以及梯度下降与 Hessian 的离群特征空间的对齐。深度线性非约束特征模型及其非线性等效模型的经验结果支持了这些预测的观察结果。
Apr, 2024
本文研究了使用深度神经网络对纹理特征重要的图像数据集进行分类的方法，并通过定义手工特征提取的 VC 维来证明手工特征提取是降低异常误差率的有效工具，同时得出了卷积神经网络、Dropout 网络和 Dropconnect 网络的 VC 维上限以及它们异常误差率的关系。此外，本文还利用内在维度概念验证了基于纹理的数据集比手写数字或其他目标识别数据集本质上更高维，因此更难以被神经网络粉碎，同时还从 n 维流形中计算出样本数据的相对对比度随向量空间维度趋于无限大而消失的规律。
May, 2016
我们提出了一种新的通用特征排序方法，该方法在静态和时间序列场景中在多个数据集上表现良好，可用于分类和回归等任务，并且应用于药物反应数据集时能够识别与药物反应相关的基因。
Dec, 2017
本文提出了一种新的方法，用于可视化和理解神经网络输出层之前的向量空间，旨在揭示分类任务下的深层特征向量属性，特别是过拟合现象在特征空间中的本质和其对进一步应用的负面影响，并对其进行了真实应用场景的评估，证明了其突出性能优势。
Jun, 2020
本研究探讨了如何优化特征映射，使用神经网络来减少超平面的有效 VC 维度。结论表明，可以定义一个控制分类超平面 VC 维度的损失函数。当训练集较小时，使用此方法的性能有所提高。
Jan, 2022
我们提供了关于神经网络结构中神经崩溃现象的全局优化景观分析，发现交叉熵损失在没有约束条件的特征模型中存在良性全局景观，其中 Simplex ETFs 是唯一的全局最小值，并且我们的实验表明可以通过设置特征维度等于类别数并将最后一层分类器固定为 Simplex ETF 来降低内存使用量。
May, 2021
本文研究了一种叫做特征坍塌的现象，即在学习任务中，扮演相似角色的元素会获得类似的表达方式，其中 LayerNorm 等规范化机制在特征坍塌和泛化中扮演着关键作用。通过在 NLP 任务中进行实验，证明了特征坍塌与泛化密切相关，并且在大样本极限下，相同角色的不同单词在神经网络中获得相同的局部特征表达。
May, 2023
通过有效维度的视角，我们研究了神经网络在参数计数作为复杂度代理时的一些奇妙的泛化特性，包括双下降现象、模型选择、宽度 - 深度权衡和损失曲面的功能多样性，发现通过有效维度可以更好地了解深度模型中参数和函数之间的相互作用，并且比其他基于范数或平坦度的泛化度量方法更优。
Mar, 2020
本研究通过在不受约束的特征模型背景下，研究了交叉熵损失函数下不平衡数据的神经崩溃现象，发现特征向量在同一类中收敛为相同的平均向量，并确定了少数类崩溃的临界阈值，并且结果表明，数据大小不平衡的影响随着样本大小的增长而减小。实验结果验证了理论分析。
Sep, 2023