- Python 大规模稀疏图的高效图编码嵌入
图编码嵌入(GEE)的稀疏版本在计算和存储零元素方面进行了优化,与原始 GEE 相比,这种改进后的方法在处理大规模稀疏图时实现了显著的加速,可以在标准笔记本上几分钟内处理数百万条边。
- 通过非凸迭代重新加权最小二乘法恢复同时结构化数据
提出一种新的算法来恢复数据,该数据符合多个异构低维结构,并专注于同时为行稀疏和低秩的数据矩阵,该算法能够利用两种结构。
- 使用随机稀疏计算加速图神经网络训练
针对图神经网络训练过程中稀疏矩阵运算效率低下、采样也更加困难的问题,我们基于资源分配和缓存上一轮采样的解决方案,提出了一种名为随机稀疏计算的方法,能够在几乎不降低精度的情况下取得了专门针对稀疏矩阵运算加速的显著效果。
- 自注意力矩阵的表达能力
本文研究了 Transformer 网络中的自注意力矩阵,重点分析了稀疏模式的逼近。我们证明了通过固定自注意力参数,采用不同的输入即可逼近各种稀疏矩阵,并提出了一种基于随机映射技术的构造性证明和算法。尤其是,在保持矩阵元素比率不变的精度下, - 深度学习的稀疏 GPU 内核
本文提出一种基于稀疏矩阵的计算优化方法,通过对深度学习应用中的稀疏矩阵进行深入研究,开发出可用于稀疏矩阵与密集矩阵乘法和采样密集 - 密集矩阵乘法的高性能 GPU 核,实现了神经网络模型的加速和内存节省。
- 图神经网络训练中的通信减少
本文介绍了一系列用于训练图神经网络的并行算法,可以通过优化通信来减少稀疏矩阵训练的通信成本,对于多个数据集上的测试结果表明其有效性。
- 线性代数的变分算法
本文提出一种基于变分算法的线性代数任务解法,适用于嘈杂的中尺度量子设备,并可应用于稀疏矩阵、机器学习和优化问题。通过数值模拟和 IBM 量子云设备验证,算法成功解决了线性方程组问题,解决的精度高达 99.95%。
- ICML利用蝴蝶分解学习线性变换的快速算法
通过将快速矩阵向量乘法的特性定义为稀疏矩阵的积,我们引入了一种分治方法的参数化形式,可以自动学习很多重要的变换的有效算法,并且在机器学习流水线中可以作为通用矩阵的轻量级替代,以学习高效且可压缩的变换。
- NIPS利用数值稀疏性进行高效学习:更快的特征向量计算和回归
本文提出了更快的算法来解决数据矩阵中回归和特征向量计算问题,使用这些算法,即使在稀疏矩阵的情况下,也可以获得近似的线性运行时间。
- ICML再谈差分隐私矩阵补全
该研究提供了第一个具有正式效用保证的证明联合差分隐私算法,用于处理用户级别的隐私保护协同过滤问题。基于 Frank-Wolfe 方法,该算法可以一致地估计潜在的偏好矩阵,只要用户数量 $m$ 大于 $\omega {(n^{5/4})}$, - 稀疏因子模型下噪声矩阵完成的极小值下界
该论文研究了矩阵完成问题的基本错误特征,通过分析噪声模型下的最小极大误差边界得出,结果表明最大似然估计量的复杂性正则化可以在多个噪声场景下,获得最小风险率。
- 使用核心集降维海量稀疏数据集
本文提出了一种解决大规模稀疏矩阵降维问题的实用方法,该方法使用核心集来近似计算矩阵的降维近似值,是计算低秩近似的有效算法。
- 蝴蝶分解
本文介绍了蝴蝶分解作为满足互补低秩性质的矩阵的一种数据稀疏逼近方法,并阐述了构建该分解的有效算法。结果表明,蝴蝶分解可以被快速地应用于 N x N 矩阵,并取得了很好的数值结果。
- 计算大矩阵精确奇异三元组的预处理混合 SVD 方法
通过一种新颖的 SVD 方法,该方法可利用预处理和任何良好设计的特征求解器计算最大和最小奇异三元组。
- 稀疏矩阵分解
该研究探讨如何将矩阵分解为多个稀疏矩阵,提出了一种在随机性和稀疏性假设下的算法,该算法能够恢复深度学习网络中各层之间边的结构、隐藏单元的值,矩阵分解、稀疏恢复、字典学习与深度学习之间具有密切关联。
- 高维线性二次系统的高效强化学习
研究高维线性二次(LQ)系统的自适应控制问题,提出一种实现遗憾界为 O (p√T) 的自适应控制方案,并指出该方法在计算广告领域具有突出的应用价值。
- 稀疏矩阵锥的对数障碍
通过多重正面方法,提出用于评估对数障碍函数的梯度和海森矩阵的算法,主要针对两种类型的凸锥体:具有给定稀疏模式的正半定矩阵锥体以及具有相同模式的稀疏矩阵锥体的正半定补体。这些算法对于密集的半定规划内点法非对称锥形式的评估非常重要。
- LSRN:用于强过度或欠定系统的并行迭代求解器
该论文描述了一种基于随机正常投影的并行迭代最小二乘求解器,可以通过使用 Tikhonov 正则化和支持稀疏矩阵的 Chebyshev 方法对可能是奇异矩阵的病态系统进行有效求解。
- 高维嘈杂矩阵中的稀疏子矩阵检测
提出了一种用于检测具有显著元素的子矩阵的测试方法,并计算了其检测边界和自适应敏锐度。在稀疏矩阵上得到了出色的表现,并扩展了结果以应对不同的矩阵类型和双侧替代假设。