在这项工作中，我们对一类算法进行了统一的渐近性分析，其中包括了经典的迭代重新加权最小二乘（IRLS）算法、最近提出的用于线性神经网络的 lin-RFM 算法和线性对角神经网络上的交替最小化算法。我们的分析在一个 “批处理” 情境中进行，使用 i.i.d. 高斯协变量，并表明在适当选择重新加权策略的情况下，算法只需少数几次迭代就能取得良好的性能。我们还将我们的结果推广到了群稀疏恢复的情况，并证明利用这种结构在重新加权方案中比坐标加权明显改善了测试误差。

Jun, 2024

该研究提出了对 IRLS 鲁棒回归问题的全球模型恢复结果，建议加强基本 IRLS 例程，提供全球恢复的保证，可更好地抵御基本回归任务和应用任务的超参数错误，使用加权强凸和平稳性的新概念来理论分析。

Jun, 2020

本文研究核函数的选择对核基模态统计方法中估计精度的影响，理论上证明了一种多元最优核函数，能够在使用最优带宽时，最小化其解析得到的渐近误差准则。

Apr, 2023

该论文介绍了两种新颖的在线多任务学习回归问题的方法，分别基于高性能的基于图的多任务学习和基于加权递归最小二乘法（WRLS）和在线稀疏最小二乘支持向量回归（OSLSSVR）的递归版本。通过任务堆叠变换，我们证明存在一个单一矩阵，其中包含多个任务的关系，并提供结构信息供 MT-WRLS 方法在其初始化过程中和 MT-OSLSSVR 的多任务核函数中体现。与现有的以在线梯度下降（OGD）或不精确立方方法为主的文献形成对比，我们实现了在输入空间维度（MT-WRLS）或实例字典大小（MT-OSLSSVR）上具有二次每实例成本的精确和近似递归。我们通过一个真实的风速预测案例研究将我们的在线多任务学习方法与其他竞争者进行比较，证明了两种提出的方法在性能上的显著收益。

Aug, 2023

本文提出了一个解决低秩和 / 或稀疏矩阵最小化问题的一般框架，使用迭代重新加权最小二乘（IRLS）方法来解决混合低秩和稀疏最小化问题，例如用于解决 Schatten-p 规范和 ell_2,q-norm 规范的低秩表示问题，理论证明了所获得的解为静止点，并在合成和实际数据集上进行了广泛的实验以证明其有效性。

Jan, 2014

本文研究了混合线性回归模型的在线识别和数据聚类问题，引入了两种基于期望最大化原理的相应的新的在线识别算法，证明了这两种算法都在不依赖传统的独立同分布数据假设的情况下全局收敛。在分析中的一个关键步骤是建立相应微分方程的稳定性以应用著名的 Ljung 的 ODE 方法，同时还证明了在已知参数的情况下，簇内误差和新数据被正确分类到簇中的概率渐近地与之前相同。最后，通过数值模拟验证了我们在线算法的有效性。

Nov, 2023

通过再参数化和双层解析度的相结合，我们提出了一种新的通过线性系统解决 Lasso 问题的方法，可以适用于各种疏松规则和设计矩阵，我们通过数值实验表明了该方法的高效性和鲁棒性。

Jun, 2021

本文提出了 Wasserstein Mixed Linear Regression (WMLR)，通过使用一种优化传输的方法来解决 Mixed Linear Regression 问题。WMLR 可以处理混合模型的联邦学习任务，收敛速度较快且具有良好的普适性和泛化性。

Jun, 2021

研究一种基于核密度估计的非参数模态回归方法，并提出置信集和预测集构造技术以及平滑带宽选择方法，同时探讨其与混合回归和密度脊估计的关系。

Dec, 2014

本文研究使用迭代加权最小二乘算法（IRLS）促进稀疏和可压缩向量恢复中的 l1 最小化，证明其收敛性和估计局部速率，并且展示了如何修改算法，以便在 t 小于 1 时促进 lt 最小化，并且这种修改有着超线性的收敛速率。

Jul, 2008