随机舍入隐含地正则化高且瘦矩阵

Mar, 2024

随机舍入隐含地正则化高且瘦矩阵

Stochastic Rounding Implicitly Regularizes Tall-and-Thin Matrices

Gregory Dexter, Christos Boutsikas, Linkai Ma, Ilse C.F. Ipsen, Petros Drineas

TL;DR通过随机舍入来对实型矩阵进行随机接近处理，研究了其对矩阵的奇异值和秩不足性的影响，并得出结论：高概率下，经过随机舍入后的矩阵的最小奇异值与零点的距离有明确的下界，即使原矩阵接近秩不足也是如此。换言之，随机舍入隐式地对高而瘦的矩阵进行正则化，使舍入后的矩阵具有完全列秩。

Abstract

Motivated by the popularity of stochastic rounding in the context of machine learning and the training of large-scale deep neural network models, we consider stochastic nearness rounding of real matrices $\mathbf

stochastic rounding matrices singular value rank-deficient regularization

发现论文，激发创造

迭代行采样

该研究提出新的算法解决回归问题中的稀疏数据，基于迭代法中计算行重要性（行杠杆力分数）的方法，达到比现有技术更好的理论保证。

Nov, 2012

正则化数据拟合的更锐利界限

研究针对线性回归、低秩逼近和规范相关分析的正规化变体的矩阵草图方法，主要关注能够保留规范问题目标函数值的草图技术，为 ridge regularization 在这些问题上展示了算法资源界限，其中统计维度总是小于秩，并随着规范化程度的增加而减少

Nov, 2016

高维低秩矩阵的估计

本文研究用惯性系数约束和 Frobenius 范数限制下的惩罚最小二乘估计的 Schatten-p 准范惩罚项估计法，能够有效地在高维数据下进行矩阵估计。

Dec, 2009

一个随机矩形矩阵的最小奇异值

针对具有独立同分布次高斯分布的随机 N×n 矩阵 A 的最小奇异值，给出了一种最优的估计方法，证明了其在所有固定维度上的有效性，并获得了概率的尖锐估计。

Feb, 2008

快速低秩矩阵学习与非凸正则化

本文提出了一种基于截断的异性低秩正则化方法，通过使用功率方法逼近奇异值分解以提高计算效率，相比于传统核范数正则化方法，实验结果表明所提出的方法在矩阵补全领域有更快的速度和更高的准确率。

Dec, 2015

深度矩阵分解中平坦正则化的归纳偏差

在学习从线性度量中的深度线性网络时，最小化 Hessian 矩阵的迹大致相当于最小化相应端到端矩阵参数的 Schatten 1 - 范数，这进而导致更好的概括。

Jun, 2023

随机矩阵的非渐近理论：极奇异值

该研究论文介绍了如何基于几何方法来估计具有独立条目的随机矩阵的极奇异值，重点关注了随机矩阵的硬边缘 (最小奇异值) 的非渐近理论。

Mar, 2010

奇异值阈值处理下矩阵去噪的最小化风险

研究在估计一个未知的 $n*m$ 矩阵 $X_0$ 时，采用了核范数正则化的方法进行去噪，并使用软阈值法求解核范数正则化问题，同时推导了极小极大均方误差的渐进性质及其临界阈值。

Apr, 2013

高维稳健回归估计的非正则化和岭正则化的渐近行为：严格结果

本文研究了高维稳健回归估计器的渐近性质以及基于概率启发式的方法解释了其渐近行为，通过随机矩阵理论、集中测度和凸分析的思想提出了严谨证明，这里对某些假设进行了放宽并发现当 $ au=0$ 时可作为极限情况来恢复。

Nov, 2013

随机元素级矩阵稀疏化注释

本文提出一种基于随机采样的算法用于对矩阵进行稀疏处理，同时利用分布与矩阵元素平方和绝对值相关的信息提高了近似精度。

Apr, 2014