random matrix theory | BriefGPT

关键词random matrix theory

搜索结果 - 49

机器学习中的随机数值线性代数的最新和即将发展
随机数值线性代数（RandNLA）在大矩阵的机器学习和数据分析应用中发挥着重要作用，本文提供了 RandNLA 的综合概述，以应对近期的理论和实践挑战。
PDF13 days ago
基于随机矩阵理论的多任务回归分析及其在时间序列预测中的应用
我们提出了一个新的理论框架，将随机矩阵理论应用于高维非高斯数据分布下，为多任务回归提供准确的性能估计；我们通过将多任务优化问题形式化为一种正则化技术来使单任务模型利用多任务学习信息，并在线性模型的背景下导出了多任务优化的闭式解；我们的分析通
PDF16 days ago
带有噪声标签的高维度学习
该研究论文探讨了高维二分类在具有条件性噪声标签的情况下的理论视角。通过研究具有标签噪声感知损失函数的线性分类器在维度 p 和样本数 n 都很大且可比时的行为，利用随机矩阵理论和高斯混合数据模型，证明了当 p 和 n 趋近于无穷时，线性分类器
PDFa month ago
核矩阵的低秩逼近入元误差界限
通过截断奇异值分解，我们推导了低秩近似核矩阵的逐元素误差界。尽管这种近似在谱范数和弗罗贝尼乌斯范数误差方面是最优的，但对于单个元素的统计行为知之甚少。我们的误差界填补了这一空白。关键的技术创新是对应于小特征值的核矩阵的特征向量的非定位化结果
PDFa month ago
随机矩阵理论改进的对称正定矩阵的弗雷歇均值
使用随机矩阵理论的方法估计协方差矩阵中的 Fréchet 均值，在处理低样本支持和大量需要平均的矩阵时表现优于现有方法。
PDF2 months ago
高维回归中的缩放和重标定
用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能，在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的 $S$ 变换特性，从代数的几行直接获得训练和泛化误差的解析公式，能够直观地识别模型性能
PDF2 months ago
分块结构的特征相位转换与最优主成分分析
我们通过随机矩阵理论，重点研究了非齐次分组伪威格纳模型中的结构噪声，目标是找到一个最优的频谱方法，并将均匀情况下著名的 BBP 相变准则扩展到非齐次块状威格纳模型，我们对一个变换矩阵进行了彻底而严格的分析，并展示了在最佳阈值处 1）超出极限
PDF4 months ago
深度神经网络的 “无损” 压缩：一种高维度神经切向核方法
建立在神经切向核 (NTK) 和随机矩阵理论 (RMT) 的最新进展之上，我们提供了一种创新的压缩方法用于宽且全连接的深度神经网络，实现 “无损” 压缩，即压缩后的网络在渐近意义下与原始网络具有相同的 NTK，权重和激活只取值于 {0, ±
PDF4 months ago
多任务半监督学习的大维度分析
本研究通过大维度研究了一种简单而多功能的分类模型，同时涵盖了多任务学习、半监督学习和考虑不确定标签的要素。利用随机矩阵理论的工具，我们表征了一些关键功能的渐近特性，一方面可以预测算法的性能，另一方面揭示了一些关于有效使用该算法的反直觉指导。
PDF4 months ago
深度均衡模型与不那么深的显式模型在高维高斯混合模型中几乎等效
使用随机矩阵理论，对深度平衡模型的特征频谱进行深入分析，证明了隐式 CK 和 NTK 的谱行为取决于激活函数和初始权重方差，从而可以通过一个浅层显式网络来设计出相同的 CK 或 NTK。
PDF5 months ago
低密度分离假设下监督学习和无监督学习之间的随机矩阵分析
我们提出了一个理论框架，用于分析高维情况下基于低密度分离假设的半监督分类。我们介绍了 QLDS，一个线性分类模型，其中低密度分离假设通过二次边界最大化来实现。该算法具有显式解和丰富的理论性质，我们证明了我们算法的特殊情况是有监督情况下的最小
PDF8 months ago
利用随机矩阵理论提高深度学习的准确性
通过利用随机矩阵理论来进行深度神经网络的层剪枝，我们可以实现神经网络结构和误差曲面的简化。通过奇异值分解（SVD），我们优化地确定了在训练过程中应该从神经网络的权重层中移除的奇异值个数，从而提高了神经网络的简化和精度，并在 MNIST 和
PDF9 months ago
激活稀疏性的理论解释：通过平坦极小值和对抗性鲁棒性
基于梯度稀疏性和随机矩阵理论的激活稀疏性，该研究解释了深度模型中激活稀疏性的理论机制以及其在对抗鲁棒性和性能方面的重要性，并提出了几种用于训练和稀疏调整的模块和修改的方法。
PDF10 months ago
大规模和密集随机 Kronecker 图的分析和近似推理
本文基于随机矩阵理论，在研究大规模的随机 Kronecker graph 时，发现其邻接矩阵近似遵循一个带有小秩信号矩阵和四分之一圆形奇异值分布的噪声矩阵，提出了一种 “去噪和求解” 的元算法，以减少计算复杂度和提高性能保证，给出了在合成和
PDFa year ago
无监督语音识别理论
本文提出了一个通用的理论框架，用于通过随机矩阵理论和神经切向核理论研究 ASR-U 系统的属性和解决超参数敏感性和训练不稳定等问题，并通过三类转换图上的合成语言的 ASR-U 实验提供强有力的理论依据。
PDFa year ago
随机矩阵理论与神经网络的损失曲面
此篇论文利用随机矩阵理论来理解和描述神经网络的损失曲面及其谱，并应用于现代神经网络的训练方法，为随机矩阵理论在现代神经网络的理论研究中提供了重要的贡献。
PDFa year ago
深度神经网络中权重矩阵的重尾正则化
通过随机矩阵理论，提出了一种名为 “Heavy-Tailed Regularization” 的正则化技术，此技术优化了神经网络的权重矩阵，使其有更重的尾巴，并提升了网络的泛化能力。对比传统的正则化方法，实验结果证明这种新方法在泛化效果上更
PDFa year ago
不仅仅是玩具：随机矩阵模型预测现实世界神经表示如何泛化
研究了机器学习模型泛化的定量现象，发现基于核回归的大规模神经网络和真实数据的核函数理论分析往往无法捕捉到这些现象，然而基于 GCV 估算器的实证研究结果表明该方法可以在这种超参数化的情境下准确预测泛化风险，并证明了 GCV 估算器在满足局部
PDF2 years ago
浅层神经网络的次二次超参数化
本文采用 Polyak-Lojasiewicz 条件和随机矩阵理论，提供了一个分析框架，允许我们在基本浅层神经网络中同时训练所有层并达到网络宽度的理想亚二次标度。
PDF3 years ago
数据科学的谱方法：统计学视角
使用特征谱方法从现代统计的角度系统、全面且易于访问地介绍了一类从数据中构建矩阵，然后使用上述矩阵的特征向量（Singular vectors）和特征值（Singular values）进行数据分析的方法。特别地，我们围绕着多个中心问题来阐述
PDF4 years ago