利用矩阵流形的几何性质，我们提出了一种自动优化方法，对神经网络的归一化参数进行优化。通过层次化的权重归一化以限制利普希茨常数并增强梯度的可靠性，使训练后的网络适用于控制应用。通过初始化网络和根据初始化网络的 2-2 增益对数据进行归一化，我们的方法首先对网络进行初始化。然后，所提出的算法基于高维球面上的指数映射来进行更新。给定一个更新方向（如负内腔梯度），我们提出了两种不同的方式来确定下降的步长。第一种算法利用目标函数沿着组合球面流形上定义的更新曲线进行的自动微分。利用方向二阶导数信息，无需显式构造海森矩阵。第二种算法利用架构感知的主导次数极小化框架进行神经网络的优化。通过这些新进展，所提出的方法避免了手动调优和学习率的调度，从而为优化归一化神经网络提供了自动化的流程。

Dec, 2023

通过分析内积关系，研究了神经网络特征图的内积在模拟输入之间的关系方面的广泛应用，证明了多层感知器自身的内积是对称正定关系函数的普遍逼近器，而两个不同多层感知器的内积是非对称关系函数的普遍逼近器，并通过内积关系将任何抽象预订定义的检索机制近似为注意力机制，从而应用于分析 Transformer 背后的注意力机制。同时，利用经济学中的 Debreu 表示定理以效用函数的形式表示偏好关系。

Feb, 2024

利用深度学习技术，通过惩罚函数的雅可比核范数，提出了一种简单高效而准确的规则化方法，使雅可比核范数可以应用于高维深度学习问题，并在去噪和表示学习等领域进行了实证研究。

May, 2024

研究随机矩阵的乘积，证明其对于任意固定向量的 2 范数的对数渐近于高斯分布，并将其应用于测量深度神经网络的激活函数 ReLU 下的梯度稳定性问题。

Dec, 2018

本文研究了一种将参数组织成矩阵的学习方式，采用矩阵范数来适当地规范参数以实现更复杂的先验知识。基于已知的对偶事实，即函数相对于某些范数是强凸的，当且仅当其共轭函数相对于对偶范数是强平滑的，我们的方法是基于统计学性质来确定合适的正则化函数。通过将这个框架应用于多任务学习、多类学习和核学习中，并推导出新的广义化和失误上限，我们展示了这个方法的潜力。

Oct, 2009

本文从理论上探讨和证明了在具备等效表示能力的情况下，Frobenius 范数与核范数可以相互转化，无论数据集包含高斯噪声、拉普拉斯噪声还是样本特定的损坏，这样可以填补在实验研究中相对于稀疏表示和核范数表示，Frobenius 范数表示（FNR）相对理解不足的空白。

Feb, 2015

该论文研究了计算两个实矩阵乘积的近似算法，提出了核秩的概念，并应用于线性低维嵌入中，使得任何核秩有界的欧几里得点集能够在独立于输入维度的投影空间上实现加性误差保证。

Mar, 2014

通过矩阵分解问题的数学建模，探究梯度优化算法所诱导的隐含正则化问题，研究发现规范（norms）不能完全解释矩阵分解问题中的正则化问题，通过实验证明排名（rank）是更有用的解释方式以及有可能解释深度学习中的泛化问题。

May, 2020

本文研究了一种内积核随机矩阵模型，证明其经验谱分布在大 $n$ 和 $p$ 极限下收敛于一定的测度。通过将其与一个具有相同极限谱的 GUE 矩阵的轨迹矩进行比较，研究了奇数内核函数的情况，该矩阵的谱范数几乎必定收敛于极限谱的边缘。本研究的动机是分析一种利用协方差阈值处理来统计检测和估计稀疏主成分的方法，并且本文的结果表征了样本协方差矩阵在零设置下的最大特征值极限。

Jul, 2015

研究了浅层神经网络的 1-path - 范数，发现它可以通过闭合形式的近端算子进行计算，且可以提供网络李普希茨常数的上界，是训练鲁棒性强的网络的有力工具。与 L1 - 范数以及基于层的李普希茨常数的制约相比，1-path - 范数的近端映射具有更好的鲁棒性 - 准确性平衡。

Jul, 2020