本文研究了过度参数化张量分解问题上的梯度流训练动态。通过证明，在正交可分解的张量情况下，略微修改的梯度流会遵循张量缩减过程，并恢复所有张量分量。我们的证明表明，对于正交张量，梯度流动态的工作方式类似于矩阵情况下的贪心低秩学习，这是了解超参数模型对低秩张量的隐含正则化效应的第一步。
Jun, 2021
通过利用数据的固有低维结构和模型参数的可压缩动力学，我们展示了优化和泛化方面的超参数化的好处，而无需增加计算负担。在深度低秩矩阵补全和微调语言模型的实践中，我们证明了这种方法的有效性，同时保留了超参数化对性能的优势。
Jun, 2024
通过多分辨率低秩张量分解以层次化方式描述张量，这种方法能够利用不同层次分辨率上的结构，创造性地解决了高阶张量分解这一基础问题。
May, 2024
通过平滑分析模型，本文提出了一种针对高度过完备情况（秩多项式于该张量维度）的张量分解的有效算法，且该算法具有鲁棒性，即使输入存在逆多项式误差，其表现依然可靠。该算法的线性独立性结果为我们在学习过程中应用张量方法提供了方便，为多视图模型和轴向高斯混合等学习问题的研究提供了更多的组件维度。
Nov, 2013
本研究是对卷积核张量分解退化性的第一项研究。我们提出了一种新方法，可以稳定卷积核的低秩近似，同时保证神经网络的高性能。在流行的 CNN 体系结构上评估我们的方法并显示它提供一致性的性能。
Aug, 2020
针对高阶张量分解中的模型选择、大规模数据和计算效率等难点，本文提出了一种基于迹范数的正则化并可并行计算的分解方法，能够有效分解低秩结构的张量，并具有较强的鲁棒性。
Jul, 2014
本文研究稀疏张量的低秩正交多项式分解，提出了使用杠杆得分来选择子集行数的草图方法，并提供了一个实际的解决方案，以提高高杠杆得分行的采样和理论界限。
Jun, 2020
本研究分析了随机超完备张量分解问题的优化景观，证明了所有局部最大值都是近似的全局最大值，为使用基于梯度的局部搜索算法解决非凸优化问题提供了理论支持。
Jun, 2017
本文研究了一种高效的参数估计方法，可用于广泛的潜变量模型，特别是那些具有张量结构的模型，包括高斯混合模型、隐马尔可夫模型和潜在狄利克雷分配模型，通过对表示模型可观测矩阵的低阶矩（通常为二阶和三阶）的张量进行分解获得。方法为鲁棒性较强、可有效计算，并可应用于多个流行的潜变量模型。
Oct, 2012
通过研究过度参数化的深度网络的学习动力学，我们揭示了各种体系结构的权重矩阵展现出低维结构，我们利用这些洞见通过减小中间层的宽度来压缩深度线性网络，实验证明这种压缩技术能够加速训练过程超过两倍，而不牺牲模型质量。
Nov, 2023