- 特征修剪
我们介绍了一种叫做 eigenpruning 的方法，它从 LLM 中移除特定任务中的奇异值，以提高其性能。这种方法受到解释性方法的启发，旨在自动找到解决特定任务的模型的子网络。在我们的测试中，经过修剪的模型在性能上远远优于原始模型，而仅需 - AAAI奇异值惩罚和语义数据增强的全面测试时间自适应
通过最大化奇异值的总和同时最小化其方差，我们提出的方法在实现 FTTA 过程中增强了较难区分的类别的判别能力，有效提高了预测结果的多样性，并通过使用前一批次的数据为当前批次实现语义数据增广以减小过拟合风险。广泛的基准实验表明了我们提出的方法 - 矩阵张量积模型的近似消息传递算法
提出并分析一种近似信息传递 (AMP) 算法，用于矩阵张量乘积模型，其中使用一种新方法在每次迭代中优化加权和组合多个估计；利用非可分函数的 AMP 收敛定理，证明了非可分函数的状态演变，提供了其在高维极限下性能的渐近精确描述。
- 通过奇异值转换解决变形金刚的令牌均匀性问题
本文提出使用每个 transformer 层的输出奇异值分布来描述 ' 标记一致性 ' 现象，并通过实验证明一个不太偏斜的奇异值分布可以缓解此问题并提出了新的奇异值变换函数来应用于多种语言模型并观察到语义文本相似性评估和 GLUE 任务的提 - 数据科学的谱方法：统计学视角
使用特征谱方法从现代统计的角度系统、全面且易于访问地介绍了一类从数据中构建矩阵，然后使用上述矩阵的特征向量（Singular vectors）和特征值（Singular values）进行数据分析的方法。特别地，我们围绕着多个中心问题来阐述 - 深度神经网络中出现的随机矩阵。高斯情况
本研究针对出现在深度神经网络分析中的随机矩阵乘积奇异值分布进行了研究，其中，数据矩阵的总体协方差矩阵是随机的，基于随机矩阵理论和标准技术，分析了数据矩阵的非高斯分布并阐述其在分析宏观普适性方面的潜在应用。
- ICLR卷积层的奇异值
通过对标准 2D 多通道卷积层所关联的线性变换的奇异值的表征，我们能够有效计算它们。此表征还引导我们提出了将卷积层投影到算子范数球上的算法。我们证明了这是一种有效的正则化方法；例如，它将使用 CIFAR-10 数据集和批标准化的深度残差网络 - 超越快速矩阵乘法的频谱逼近：算法与难度
本文提出一项新的算法，使用随机痕量估计方法，多项式逼近，以及快速系统求解器等高效地获得一个矩阵的奇异值谱的直方图，并用其来求解一类对称矩阵范数。同时，证明了精度高的算法可以在次立方时间内进行矩阵乘法，从而限制了计算有效电阻的难度。
- 关于具有位移结构的矩阵的奇异值
本文探讨了带有位移结构（如 Pick 矩阵、Vandermonde 矩阵和 Hankel 矩阵）的矩阵，并利用极值问题得出了这些矩阵奇异值的显式界限，从而可以通过秩近似来逼近这些矩阵
- 奇异值函数计算的算子利普希茨估计
本文针对应用数学中频繁出现的奇异值而非谱的紧算子函数解析提出了一种 Lipschitz 连续的方法，并给出了相应的充要条件和最优常数。
- AAAI广义奇异值阈值处理
该文章研究了广义奇异值阈值（GSVT）算子及其与非凸函数 g 关于矩阵 X 的奇异值的 proximal operator 的关系，提出了一个通用求解器以求解非凸低秩最小化问题。
- Mirsky 奇异值不等式的一个推广
本文对矩阵差的 Mirsky 奇异值不等式证明了一个 f 版本，其中应用了一个满足 f（0）=0 的正凹函数 f 到原始的 Mirsky 不等式的每个奇异值上。
- 奇异值的最优硬阈值为 4/sqrt (3)
通过奇异值的硬阈值处理，从噪声数据中恢复低秩矩阵，其中奇异值小于预设阈值 λ 的数值被设置为 0。我们在矩阵大小远大于需要恢复的矩阵秩的情况下研究了它的渐近 MSE，并且发现一个优化的硬阈值选择规则，它适用于未知秩和未知噪声水平，并表现为所 - 特征向量动态：一般理论和一些应用
该研究论文提出了研究对称矩阵的 $P$ 个连续特征向量跨度的稳定性的一般框架，其包括量子耗散和金融风险控制等多种方向，并以奇异值为基础，特别研究了高斯正交矩阵和协方差矩阵的情况。
- 大矩形随机矩阵的低秩扰动的奇异值和向量
本文研究大型矩形随机矩阵的有限低秩扰动的奇异值和奇异向量，证明了极值奇异值和相应奇异向量投影的近乎必然收敛性，并且在自由概率论中通过积分变换线性化了矩形加性卷积，揭示了非随机极限值明确取决于未受扰动矩阵的奇异值分布，我们研究了奇异值相变对相 - 随机矩阵的非渐近分析入门
本文是一篇介绍随机矩阵理论基本的非渐近方法和概念的教程，其中涵盖了许多在理论计算机科学、统计学和信号处理等领域的应用，尤其对于统计学中的协方差矩阵估计问题和压缩感知的概率构造测量矩阵的验证有基本应用。
- 矩阵 p - 范数的近似计算
该研究考虑了如何计算矩阵范数，给出了基于固定点迭代的有效算法，并证明了在某些参数范围内，该问题是 NP 难的。
- 矩阵完成的简单方法
本文通过最小化矩阵的核范数，结合已知信息来重建未知的低秩矩阵，并证明了在满足特定的 “不连贯条件” 的情况下，所需的样本量等于参数数量的二次对数因子。这一结论是基于量子信息理论的最新工作，相较于之前的结果，提供了更好的界限。
- 迹范数最小化的一致性
本文研究了套索正则化与奇异值的和（trace norm）正则化在估计低秩矩阵中的应用，并扩展了套索的一些一致性结果以提供必要和充分的条件，以实现具有方块差异的迹范数最小化的秩一致性，同时提供了一种自适应版本，即使不满足非自适应版本的必要条件 - 张量的奇异值和特征值：一种变分方法
我们提出了一种张量的特征值，特征向量，奇异值和奇异向量的理论，基于与对称矩阵特征值的瑞利商相似的约束变分方法。这些概念在推广某些传统上矩阵谱理论发挥重要作用的领域方面特别有用。为了说明，我们将讨论 Perron-Frobenuis 定理的多