本文研究在过度参数化的目标函数中，通过梯度下降寻找张量分解的方法及其在数据的低秩结构中的应用。

Oct, 2020

通过研究过度参数化的深度网络的学习动力学，我们揭示了各种体系结构的权重矩阵展现出低维结构，我们利用这些洞见通过减小中间层的宽度来压缩深度线性网络，实验证明这种压缩技术能够加速训练过程超过两倍，而不牺牲模型质量。

Nov, 2023

通过利用数据的固有低维结构和模型参数的可压缩动力学，我们展示了优化和泛化方面的超参数化的好处，而无需增加计算负担。在深度低秩矩阵补全和微调语言模型的实践中，我们证明了这种方法的有效性，同时保留了超参数化对性能的优势。

Jun, 2024

通过平滑分析模型，本文提出了一种针对高度过完备情况（秩多项式于该张量维度）的张量分解的有效算法，且该算法具有鲁棒性，即使输入存在逆多项式误差，其表现依然可靠。该算法的线性独立性结果为我们在学习过程中应用张量方法提供了方便，为多视图模型和轴向高斯混合等学习问题的研究提供了更多的组件维度。

Nov, 2013

研究了深度学习模型过度参数化和随机梯度下降的泛化能力现象，探讨了稀疏恢复的情况，提出了一种相应的超参数化均方误差损失函数，证明了该函数的梯度下降可以收敛到最小 L1 范数的好近似解。

Dec, 2021

研究在大矩阵中包含低秩对称尖峰的加性高斯噪声时，使用通缩算法估算的精确特性，即多个秩 - 1 逼近所得向量的对齐和其权重的估计，可用于设计更有效的信号估计方法。

Apr, 2023

该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

Apr, 2023

针对高阶张量分解中的模型选择、大规模数据和计算效率等难点，本文提出了一种基于迹范数的正则化并可并行计算的分解方法，能够有效分解低秩结构的张量，并具有较强的鲁棒性。

Jul, 2014

本文研究了一种高效的参数估计方法，可用于广泛的潜变量模型，特别是那些具有张量结构的模型，包括高斯混合模型、隐马尔可夫模型和潜在狄利克雷分配模型，通过对表示模型可观测矩阵的低阶矩（通常为二阶和三阶）的张量进行分解获得。方法为鲁棒性较强、可有效计算，并可应用于多个流行的潜变量模型。

Oct, 2012

该研究提出了一种名为 “NONFAT” 的方法，它使用高斯过程先验和稀疏变分学习算法来实现动态张量分解，以分析伴随有时间信息的多维数据，并应用于多种实际应用中。

Jul, 2022