- 神经动态的低张量秩学习
通过大规模神经记录,我们研究了学习过程中权重矩阵形成的 3-Tensor 的秩,并发现推断得到的权重具有较低的张量秩,并且通过数学结果证明了较低的张量秩权重在训练低维任务的 RNN 中自然地产生。
- MM量子启发式算法实践
研究量子启发式算法在推荐系统和线性方程组方面的实际性能优化,证明这些算法可以应用于低秩矩阵问题的实际情境下表现良好,但当输入矩阵的秩或条件数增加时,他们的性能会明显降低。
- 张量网络秩
该研究论文讨论了在低秩假设中,函数、矩阵或张量(在这种情况下,它们都是相同的对象)具有高秩的自然实例,给出了关于未定向图的新秩概念,并探讨了张量网络状态的不同 $G$-rank。
- NIPS深度网络压缩感知训练
本文提出在训练过程中明确考虑模型压缩,通过引入低秩正则化项使每层参数矩阵的秩尽量小,实现更有效的模型压缩。实验证明,这一方法比现有的压缩技术更加高效。
- 关于贪心低秩优化的近似保证
本文提供了一种新的矩阵估算近似保证方法,其基于约束强凸性和平滑性的标准假设。同时,本文揭示了低秩估算和组合优化之间的新联系,并针对两个重要的现实问题提供了贪心估计与基准估计间的经验比较。
- NIPS伪贝叶斯鲁棒 PCA:算法和分析
探讨使用罕见值鲁棒性来降低传统主成分分析的敏感性,研究低秩分解与稀疏分量,提出了一种新型的伪贝叶斯算法来解决现有非凸方法的设计缺陷,达到了顶尖表现及可扩大的操作范围。
- 张量方法与矩阵方法:针对块稀疏扰动的鲁棒张量分解
本文提出一种新的非凸迭代算法,可以将张量分解为低秩部分和稀疏部分,在低秩 CP 分解和残差的硬阈值处理之间交替进行,可处理具有一个更高程度扰动的稀疏张量,应用于视频中的活动检测任务。
- 迭代加权最小二乘法平滑低秩和稀疏矩阵恢复
本文提出了一个解决低秩和 / 或稀疏矩阵最小化问题的一般框架,使用迭代重新加权最小二乘(IRLS)方法来解决混合低秩和稀疏最小化问题,例如用于解决 Schatten-p 规范和 ell_2,q-norm 规范的低秩表示问题,理论证明了所获得 - 随机扰动下的奇异向量
本文提出了一种新方法,利用高维几何和随机噪声来更好地估计低秩矩阵的奇异向量,以应对矩阵扰动问题。
- 凸松弛的威力:近似最优矩阵补全
该论文探讨了如何从其少量项目中恢复未知矩阵的问题,提出使用 “核规范” 法将矩阵恢复降低至在信息论极限附近的数列,以有效提高了恢复矩阵的准确性。