Oct, 2023

利用随机矩阵理论提高深度学习的准确性

PDF
TL;DR通过利用随机矩阵理论来进行深度神经网络的层剪枝，我们可以实现神经网络结构和误差曲面的简化。通过奇异值分解（SVD），我们优化地确定了在训练过程中应该从神经网络的权重层中移除的奇异值个数，从而提高了神经网络的简化和精度，并在 MNIST 和 Fashion MNIST 数据集上验证了这一方法的有效性。
random matrix theorydeep neural networkslayer pruningsimplificationaccuracy enhancement
发现论文，激发创造
  • 深度神经网络中的隐式自正则化：来自随机矩阵理论的证据和对学习的影响

    利用随机矩阵理论分析深度神经网络的权重矩阵，并得出神经网络的训练过程本身隐式实现了自我正则化的结论，通过改变批次大小和利用泛化间隙现象，证明了大批次训练导致模型隐含正则化不佳并解释了泛化间隙现象。

    Oct, 2018

  • 神经网络模型中的传统自我正则化和重尾自我正则化

    本研究运用随机矩阵理论分析了深度神经网络的权重矩阵，通过实验和理论结果表明神经网络层矩阵的经验谱密度显示出传统正则化统计模型的特征。并且发现随着训练阶段的增加，隐式自正则化逐渐显现，这种隐式自正则化可以像传统的 Tikhonov 正则化一样，但也可以是重尾分布的，类似于无序系统的自组织现象，并存在着一个通用性的现象。

    Jan, 2019

  • 随机矩阵理论与神经网络的损失曲面

    此篇论文利用随机矩阵理论来理解和描述神经网络的损失曲面及其谱，并应用于现代神经网络的训练方法，为随机矩阵理论在现代神经网络的理论研究中提供了重要的贡献。

    Jun, 2023

  • 通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

    本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

    Apr, 2020

  • 高维统计推断与随机矩阵

    本文回顾了多元统计分析和随机矩阵理论之间的联系，着重探讨随机矩阵理论在数据集合分析中的应用。

    Nov, 2006

  • 重尾普遍性预测大型预训练深度神经网络的测试准确性趋势

    通过构建通用容量控制度量，该度量基于重尾自正则化（HT-SR）理论，发现现代深度神经网络的层权矩阵中的相关性可调整为和重尾随机矩阵理论相同的普适类别。实验表明，该度量与测试准确性相关良好。

    Jan, 2019

  • 复杂数据集的基础缩放规律和普适性统计结构

    本文使用统计物理学和随机矩阵理论，探究出现在真实和人造数据集中的普遍特征，发现特征 - 特征协方差矩阵的本地和全局特征值在数据规模方面存在着重要差异，而 Shannon 熵则与局部 RMT 结构和特征值尺度有关，并且与强相关数据集相比于无相关性的人造数据集要小很多。

    Jun, 2023

  • 深度神经网络中出现的随机矩阵。高斯情况

    本研究针对出现在深度神经网络分析中的随机矩阵乘积奇异值分布进行了研究，其中，数据矩阵的总体协方差矩阵是随机的，基于随机矩阵理论和标准技术，分析了数据矩阵的非高斯分布并阐述其在分析宏观普适性方面的潜在应用。

    Jan, 2020

  • 基于随机矩阵理论的多任务回归分析及其在时间序列预测中的应用

    我们提出了一个新的理论框架，将随机矩阵理论应用于高维非高斯数据分布下，为多任务回归提供准确的性能估计；我们通过将多任务优化问题形式化为一种正则化技术来使单任务模型利用多任务学习信息，并在线性模型的背景下导出了多任务优化的闭式解；我们的分析通过将多任务学习性能与各种模型统计量（如原始数据协方差、信号生成超平面、噪声水平以及数据集的大小和数量）进行链接，提供了有价值的见解；最后，我们提出了对训练和测试误差的一致估计，从而为多任务回归场景中的超参数优化提供了稳健的基础；将我们的方法与训练损失相结合，从而利用多变量信息，实验证实了在回归和多变量时间序列预测的合成和真实世界数据集上对于单变量模型的改进。

    Jun, 2024

  • 来自随机矩阵理论的大型相关矩阵清理工具

    该论文回顾了最近利用随机矩阵理论（RMT）工具估计大协方差矩阵的结果，介绍了几种 RMT 方法和分析技术，如复制品形式和免费概率等，并强调了 Marchenko-Pastur 方程，它提供了有关成倍污染的嘈杂矩阵的解的信息，特别关注经验相关矩阵的特征向量的统计学，说明这些结果特别适用于当没有先验关于基础过程结构的情况下构建大协方差矩阵的一致的 “旋转不变” 估算器（RIE），最后将一些真实世界的应用作为典型案例，确立 RIE 框架的实证效力，在这种情况下，发现其优于以前提出的所有方法。

    Oct, 2016