通过最大线性模型的回归，我们对具有最大函数的组合线性模型进行了研究，这种模型在信号处理、统计学和其他多个领域中普遍存在，并且在相位恢复、学习整流线性单元激活函数等方面具有扩展性。我们提供了渐进收敛性分析，并证明了梯度下降和随机梯度下降在最大线性回归问题中的收敛性。数值结果验证了理论发现，尤其是在带有噪声的低样本情况下，随机梯度下降不仅在运行时间上收敛更快，而且性能优于交替最小化和梯度下降。

Aug, 2023

本文针对多元凸回归函数的非参数最小二乘估计器提出一种基于增广 Lagrange 方法的可扩展算法框架，并且给出了平滑凸的 LSE 拟合（分段仿射）的凸逼近方法及近似质量的形式保证，此外，提出了一种 Lipschitz 凸回归的正则化方案，并研究了所得 LSE 的收敛速度．数值研究表明了本文所提算法的可扩展性。

Sep, 2015

本文提出了一种基于 Matrix GLM 的近似消息传递算法（AMP）来估计混合线性回归等多个广义线性模型的信号，经过状态演化递归的理论分析得出该算法的性能，同时使用状态演化方法在每次迭代中选择 AMP 的最优去噪函数，数值模拟结果验证了 AMP 算法对于混合线性回归和 max-affine 回归等问题的优越表现。

Apr, 2023

研究高维稀疏线性回归问题在存在噪声、缺失或相关的数据时的情况下，提出了基于投影梯度下降的估计器，并且证明其在多项式时间内收敛到所有全局最小值的近邻，并给出了在统计和计算两个方面的理论保证。

Sep, 2011

非参数回归的传递学习研究中，开发了一种自信阈值估计器，该估计器被证明在寻找最小最大风险时能够实现对数因子的最优性。结果展示了传递学习中的两个独特现象：自动平滑和超加速，这两者使之与传统环境下的非参数回归有所区别。随后，提出了一种数据驱动算法，能够自适应地在广泛的参数空间内达到对数因子的最小最大风险。通过模拟研究来评估自适应传递学习算法的数值性能，并提供了一个实际例子以演示所提方法的好处。

Jan, 2024

本研究旨在探究在高维线性回归模型的情况下，不了解回归参数稀疏性和设计分布对解释方差等因素的估计最小风险的影响，获得了在回归参数稀疏性不明确的情况下最小风险同时达到 logloss 的自适应程序，同时发现设计分布的了解对解释方差的估计至关重要。

Feb, 2016

混合线性回归是参数统计学和机器学习领域中一个被广泛研究的问题，本文研究了在没有生成模型的情况下，如何通过异态学习使用期望最大化算法 (EM) 和交替最小化算法 (AM) 进行混合线性回归的参数估计。

Jun, 2024

本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下，基于平方和框架的线性模型学习算法，该算法的收敛速度与扰动的比例成幂率关系，能达到理论最优收敛速度且在先前研究中未被发现。

Jun, 2020

本文提出一种针对高维张量数据的估计和推断方法，通过假设数据遵循张量正态分布来简化精度矩阵的估计，使用交替迭代优化算法估计每个稀疏精度矩阵，并且提出一种去偏置统计推断方法来控制虚警率，实证结果证实了该方法在自闭症谱系障碍和广告点击分析等实际应用上的有效性，同时我们将其编码为一个名为 Tlasso 的公开的 R 包。

Sep, 2016

该论文介绍了一种迭代算法，用于训练具有有利的内存存储和计算要求的加法模型。该算法可以被视为随机梯度下降的函数对应物，应用于组成函数的截断基函数的系数。我们证明了所得到的估计器满足一个预言不等式，可以容许模型错误规定。在规范设置下，通过在培训的三个不同阶段仔细选择学习率，我们证明它的风险在数据的维度和训练样本的大小上是极小值最优的。

Jan, 2024