通过大规模神经记录，我们研究了学习过程中权重矩阵形成的 3-Tensor 的秩，并发现推断得到的权重具有较低的张量秩，并且通过数学结果证明了较低的张量秩权重在训练低维任务的 RNN 中自然地产生。

Aug, 2023

介绍了一种在保证模型精度的情况下，同时降低深度学习中推理和训练成本，并通过基于神经网络条件数的模型稳健性表明低秩矩阵分解（low-rank matrix factorizations）容易导致模型鲁棒性的问题，提出了一种基于鲁棒低秩矩阵训练的算法，通过施加近似正交约束，保证了低秩表示与近似完整的模型之间精度。通过实验证明降低深度学习模型中推理和训练成本的同时，提高了模型的鲁棒性。

Jun, 2023

该论文提出了一种新的因子分解模型，它将低秩矩阵和线性子空间约束分离开来，从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明，该方法在标准 / 鲁棒 / 非负矩阵补全，Hankel 矩阵学习和多任务学习等问题上具有较高的效率。

Apr, 2017

本文研究深度神经网络中的可扩展性问题，提出了一种条件计算的方法，利用门控单元来确定节点何时进行计算，通过将权重矩阵分解成低秩逼近，能够有效地获得非线性激活前的正负号，在使用 ReLU 激活函数时，能够跳过一些节点的计算，加速稀疏神经网络的运行。实验结果显示，这种方法在 MNIST 和 SVHN 数据集上的性能稳健，对于条件计算过程引入的误差具有较好的鲁棒性。

Dec, 2013

本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

Jan, 2022

该论文研究了将正半定矩阵分解为给定秩矩阵和稀疏矩阵之和的方法，并提出了使用深度神经网络参数化适当大小的矩形矩阵表示解的低秩部分的方法，该方法在投资组合优化中有应用。作者使用梯度下降算法优化神经网络参数，并证明了收敛速度多项式增长。

Aug, 2019

本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

Mar, 2020

该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

Mar, 2018

本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

May, 2019

本文研究了 Lottery Ticket Hypothesis 在分布转移下的稀疏子网络初始化及转移时的效果，并验证了这种初始化策略的归纳偏差可被应用于多个领域。

Oct, 2019