本文提出了一种启发式方法，通过临时舍弃条件独立于特征集所选择的变量，在保持预测准确性的同时显著提高了前向-后向选择算法的运行效率，并在能够被贝叶斯网络或最大祖先图恰当表示的分布中，能够正确识别马尔科夫毯子。

May, 2017

本文提出一种简单的迭代正则化路径方法，通过稀疏Mirror Descent算法或带有非线性损失的Linearized Bregman迭代的动态，在Restricted Strong Convexity (RSC)和Irrepresentable Condition (IRR)的限制下，以达到不出错的子空间为首要目标，运用于稀疏逻辑回归和Ising模型的NIPS合著问题上，其性能与glment相当，进一步减小了偏差。

Oct, 2018

本文提出了一种基于近似超梯度的超参数优化方法，适用于任何连续的超参数出现在可微模型的权重更新中，只需一次训练，无需重新启动。该方法可以对每个模型参数进行可操作的基于梯度的学习率优化，性能竞争力强，在多个数据集上运行良好。

Oct, 2021

本研究提出了新的高维参数优化方法（LassoBench），并在 Weighted Lasso 压缩感知模型上进行了评估，结果表明贝叶斯优化和进化策略可以改善目前稀疏回归的方法，同时也指出了这些框架在高维和噪声环境下的限制。

Nov, 2021

本论文探讨了自适应 Lasso 和传递 Lasso 的理论特性，介绍了它们在正则化和渐近性质方面的区别，并提出一种综合了两种方法优势并弥补了弱点的新方法，最后通过模拟实验证实了理论并比较了这些方法。

Aug, 2023

通过研究转移学习在非参数回归问题上的应用，本文提出了两种解决方案：已知转移源时使用基于核岭回归的两步核估计器，未知转移源时使用基于高效集成算法的新方法，该方法可以自动检测并减轻负面源的影响，并通过大量的数值实验证实了理论结果并展示了提出的方法的有效性。

Oct, 2023

本研究探讨了线性回归中带有L2正则化的问题，每个输入变量都与一个不同的正则化超参数相关联。通过基于梯度的方法优化这些超参数，通过计算交叉验证准则相对于正则化超参数的梯度，使用矩阵微分学进行解析计算。此外，我们引入了两种针对稀疏模型学习问题的策略，旨在减少过度拟合验证数据的风险。数值示例表明，我们的多超参数正则化方法胜过LASSO、Ridge和Elastic Net回归。此外，与自动微分相比，梯度的解析计算在计算时间方面更加高效，特别是在处理大量输入变量时。还介绍了应用于过参数化线性参数变化模型的情况。

Nov, 2023

非参数回归的传递学习研究中，开发了一种自信阈值估计器，该估计器被证明在寻找最小最大风险时能够实现对数因子的最优性。结果展示了传递学习中的两个独特现象：自动平滑和超加速，这两者使之与传统环境下的非参数回归有所区别。随后，提出了一种数据驱动算法，能够自适应地在广泛的参数空间内达到对数因子的最小最大风险。通过模拟研究来评估自适应传递学习算法的数值性能，并提供了一个实际例子以演示所提方法的好处。

Jan, 2024

稀疏线性回归中的相关性以及智能缩放解决方案

Feb, 2024

本研究解决了线性模型在回归和二分类任务中的迁移学习问题，尤其是小样本训练数据的挑战。通过预训练权重和随机梯度下降，分析了预训练和微调模型的泛化误差，并指出在特定条件下，微调模型能优于预训练模型。研究结果具有普遍性，仅依赖于目标分布的一阶和二阶统计量，超越了文献中常见的标准高斯假设。

Oct, 2024