Aug, 2020

深度学习光谱中弥漫着类别 / 跨类别结构的痕迹

PDF
TL;DR研究应用实证频谱分析于现代深度学习分类器，展示其在深度网络频谱中的重要形式类 / 跨类结构及其特征，包括频谱异常值、突起和小但清晰的连续分布，介绍跨类结构的重要性，并证明多项式逻辑回归中，Fisher 信息矩阵频谱中异常值与主体审查的比例预测了误分类，在深度上，网络能够在将类别区分信息正交化的同时，逐渐分离类别特定信息，并提出了 KFAC 的校正。
发现论文，激发创造
  • 深度神经网络 Hessian 谱中离群点的三层分层结构测量

    通过对参数与模型 logits 导数结构的研究，我们发现了导致 Hessian 特异值异常的二阶矩矩阵结构，该结构可以通过平均操作来近似 Hessian 的主子空间，避免高维特征值分析的需求。

    Jan, 2019

  • 深度神经网络在神经影像学中的群体训练动态的光谱分析

    通过梯度计算的奇异值分解，我们提出了一种基于神经影像数据的深度学习自省框架，可以实时研究训练动态并分解梯度，进而揭示研究强迫症与对照组之间常见深度学习模型的差异，用于进一步的分析。

    Jun, 2024

  • 深度网络中谱普适性的出现

    利用自由概率理论，对深度网络输入 - 输出 Jacobian 谱的结构进行研究，探讨非线性、权值、偏置分布、深度等超参数对 Jacobian 谱的影响。我们发现，不同的非线性函数都符合一些新的普适极限谱分布，即使深度接近无穷，这些分布也可以牢固地集中于 1 附近，从而可以为深度网络的设计提供重要的指导。

    Feb, 2018

  • 正则图的谱聚类和分形

    本文报告了一种由邻接矩阵的谱引发的所有 d 阶正则图的特征结构，该结构具有分形线状外观。作者发现了一个称为 multifilar 的分形结构，在数值实验的基础上提供了数学解释，并用第一类贝塞尔函数计算了所有 filar 的坐标和斜率。

    Oct, 2006

  • 深度学习谱偏差研究

    论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

    Dec, 2019

  • 深度神经网络的光谱复杂度

    在本文中，我们提出使用极坐标谱来表征网络架构的复杂性，并根据序列的渐近分布对网络进行分类为低阶、稀疏或高阶。我们展示了这种分类方法在标准激活函数和 ReLU 网络的稀疏性质方面的不同特征，并通过数值模拟验证了我们的理论结果。

    May, 2024

  • 神经网络的频谱偏差

    通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

    Jun, 2018

  • 均衡数据，不均衡光谱：揭示类别差异的光谱不平衡

    我们研究了不同类别之间的性能差异问题，并引入了光谱不平衡的概念来研究特征之间的类别偏差，通过构建一个理论框架，并在 11 个先进的预训练编码器上进行验证，我们展示了如何利用光谱不平衡来比较编码器的质量，评估和结合数据增强策略以缓解这个问题。

    Feb, 2024

  • 基于图结构数据的深度卷积网络

    本文介绍了一种将谱网络与图估计过程相结合的方法，用于构建小学习复杂度和处理没有强规律的领域的深层神经网络，并在大规模分类问题中测试并达到更好的性能。

    Jun, 2015

  • 超参数神经网络海森矩阵的实证分析

    我们研究了常见损失曲面的性质，并针对深度学习，通过 Hessian 矩阵的谱将其分为两个部分，并证明了 Sagun 等人所述的猜想。我们的观察结果对高维度的非凸优化具有重要意义，并提出了新的基于超参数冗余的几何角度视角。

    Jun, 2017