- Adapprox:通过随机低秩矩阵在 Adam 优化中进行自适应逼近
Adapprox 是一种使用随机低秩矩阵近似来更有效准确地近似 Adam 的二次矩的新方法,在 GPT-2 训练和下游任务中,Adapprox 相比 AdamW 能够实现 34.5%到 49.9%和 33.8%到 49.9%的内存节省,并且 - 关于不定矩阵的随机迹估计及其在行列式中的应用
本文提出了一种针对不定矩阵的轨迹估计技术,使用拉德马赫或高斯随机向量的新尾部界限显著提高了现有结果,同时针对 Lanczos 方法的轨迹估计也做了改进和扩展。
- Kronecker 乘积回归和低秩逼近的最优素描
本研究旨在提出一种高效的 Kronecker 乘积回归算法,该算法可以用于矩阵逼近和低秩逼近,并且小于 2 的 p 值具有更好的运行时间,此外,还提出了一种用于所有成对差异的回归问题的算法。
- KDD使用列分组分解矩阵的 Block CUR 算法
本文研究了采样预定义块以逼近矩阵的问题,应用了一种适用于大型矩阵分布式设置中计算块 CUR 分解的算法,并应用于生物识别数据分析,在真实世界的测试环境中展示了实验结果。
- 矩阵近似的均匀采样
通过简单的迭代行抽样算法和加权少数行使每个矩阵的相干度低,我们能够使用随机抽取行的方式进行矩阵近似,以大大提高数据处理速度。
- 关于矩阵完成和逼近中自适应能力的探讨
本文介绍了一种自适应采样算法,可以高效地完成低秩近似和矩阵填充任务,并且消除了之前文献中存在的某些限制性假设,具有更好的采样复杂度。
- KDD可证明的确定性杠杆得分采样
本研究发现借助确定性列采样算法可以优化矩阵逼近的效果,但要求杠杆得分具有适度陡峭的幂律衰减特性。我们提供了实证证据支持这一假设,并通过实际测试表明,该算法的性能已达到或超过了现有技术水平。
- 矩阵近似乘法及其在线性嵌入方面的应用
该论文研究了计算两个实矩阵乘积的近似算法,提出了核秩的概念,并应用于线性低维嵌入中,使得任何核秩有界的欧几里得点集能够在独立于输入维度的投影空间上实现加性误差保证。
- NIPS广义列子集选择的快速贪心算法
本文定义了一般化的列子集选择问题,该问题涉及从源矩阵 A 中选择少量列,这些列最能逼近目标矩阵 B 的跨度,提出了一种快速贪心算法来解决这个问题,并与可以使用所提出的算法有效解决的不同问题建立联系。
- ICLR局部低秩假设下的矩阵近似
该研究提出了一种新的矩阵逼近模型,其中假设只有部分的矩阵是局部低秩的,并将观测矩阵表示为低秩矩阵的加权和,实验表明该方法在推荐任务中可以提高预测准确度。
- 压缩矩阵乘法
介绍一种利用哈希函数、多项式乘法和误差纠正编码的简单算法来近似计算两个实数矩阵的乘积、计算精确的乘积矩阵,并可以以近线性时间内恢复其显著项。
- 相对误差 CUR 矩阵分解
本文提出并研究基于列 / 行数小于原数据矩阵的矩阵近似算法,并给出了两个随机化算法,通过特征值分解将矩阵近似成小的矩阵,并使用名为 “子空间采样” 的新颖采样方法,从而实现相对误差保证下的低维矩阵分解。