- 用于低秩神经网络的非线性初始化方法
我们提出了一种新的低秩初始化框架，用于训练低秩深度神经网络，证明了这种方法在 ReLU 网络中的有效性，并使用此方法训练了 ResNet 和 EfficientNet 模型。
- 针对正交不变整体的近似消息传递：多元非线性和谱初始化
本研究研究了一类适用于具有正交不变噪声的对称和矩形钉子随机矩阵模型的近似消息传递（AMP）算法，并使用贝叶斯方法介绍了一个 Bayes-OAMP 算法。
- ICLR分解神经层的初始化和正则化
研究深度学习中出现的因子化层，并探讨如何通过谱初始化和 Frobenius 衰减来改善它们的性能，并在模型压缩和知识蒸馏领域进行了实验。
- 广义线性模型的谱初始化近似消息传递
本文章研究了使用广义线性模型的估计问题并探讨了使用近似消息传递算法的表现，提出使用谱估计器作为初始化方法以解决一些模型中初始化时的相关性和独立性问题，并通过两阶段人工消息传递算法进行分析和模拟实验验证了该方法。
- 最优二分网络聚类
本文提出一种基于谱初始化和伪似然分类器的两阶段快速过程，用于网络双分区检测或更一般地解决网络双聚类问题。该程序是弱一致的，同时在双分块随机模型下建立。通过数值模拟，证明了这种程序的有效性。
- 基于优化的 AMP 相位恢复：初始化和 L2 正则化的影响
研究了一种非凸优化的相位恢复问题，提出了一种基于消息传递算法的解决方案，在理论上证明了算法性能，并发现加入 L2 正则化可以提高模型表现，而谱初始化对模型性能影响较小，对此提出了更好的算法设计方法。
- MM使用梯度下降的卷积相位恢复
本研究通过使用分离理论、混沌过程的最大值以及随机循环矩阵的受限等距特性，结合交替最小化方法，研究了通过随机自卷积信号来恢复具有给定内核的未知信号。通过谱初始化和广义梯度下降等方法，我们解决了测量算子中可能存在的依赖问题，并证明当观测次数足够 - 通过近似传递消息估计低秩矩阵
本文介绍了使用 Approximate Message Passing（AMP）算法结合谱初始化来实现 Bayes-optimal 精度的方法，特别关注了如何应用于低秩矩阵估计问题中，同时讨论了其应用于稀疏低秩矩阵和高斯块模型中的实验结果。
- ICCV高效低秩张量环完成
本文提出了一种基于张量环分解的张量补全算法，并采用交替最小化算法沿着矩阵积状态来替代分解因子，通过数值实验与已有的低秩张量分解补全算法相比较显示了改进后的表达能力。
- 高维非凸估计的谱初始化相变
本文研究了一种用于非凸场景下估计信号的光谱初始化方法，考虑了任意广义线性传感模型，并精确地描述了该方法在高维极限下的性能，揭示了依赖于样本数和信号维度之比的相位转换现象。
- 低秩相位恢复
本文提出了两种迭代算法来解决低秩相位恢复问题，这些算法由谱初始化步骤和迭代算法组成，旨在最大化观测数据可能性，并得到了相应的样本复杂度界限。经过大量实验，表明这些算法在低秩相位恢复问题上具有良好的效果。
- 解二次方程组时的局部凸性
本文介绍了一种可行的方法，利用梯度下降并结合谱初始化逼近正半定秩为 r 的矩阵 X X^T，并证明了在高斯分布下均匀采样 m >= Cnrlog^2 (n) 个样本时，可以在有很高概率下找到初始点，从而使梯度下降能收敛到正确结果。