Nov, 2021

LassoBench: 高维度Lasso超参数优化基准测试套件

HTML
PDF
TL;DR本研究提出了新的高维参数优化方法（LassoBench），并在 Weighted Lasso 压缩感知模型上进行了评估，结果表明贝叶斯优化和进化策略可以改善目前稀疏回归的方法，同时也指出了这些框架在高维和噪声环境下的限制。
发现论文，激发创造
  • Bolasso: 通过自助法实现模型一致的Lasso估计

    本文考虑了最小二乘线性回归问题，通过L1范数进行正则化。通过详细的渐近分析，计算了正确的模型选择（即变量选择）的概率的渐近等价。提出了一种名为Bolasso的变量选择算法，并在合成数据和UCI机器学习仓库中的数据集上进行了比较。

    Apr, 2008

  • 一种图结构的多任务回归和通用融合 Lasso 的高效优化方法

    本文提出了一种基于图的融合套索方法（GFlasso）用于结构化多任务回归问题，该方法利用了输出变量之间的图结构，通过融合惩罚函数鼓励高度相关的输出共享一组相关的输入，并提出了一种简单而有效的近端-梯度方法用于优化GFlasso。

    May, 2010

  • 动态筛选：加速套索(Lasso)和分组套索(Group-Lasso)的一阶算法

    研究了一种基于动态筛选原则的算法，可在处理罚函数稀疏回归问题时更有效地筛选字典，提高运算效率。

    Dec, 2014

  • 超参数优化的元代理基准测试

    提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。

    May, 2019

  • 稀疏轴向对齐子空间的高维贝叶斯优化

    基于高斯过程 surrogate 模型，利用 Hamiltonian Monte Carlo 进行推断，能够迅速识别与建模未知目标函数相关的空间稀疏子空间，实现高维贝叶斯优化 (Bayesian optimization) 中样本效率与性能的权衡。

    Feb, 2021

  • HPOBench: HPO复现性多保真性能基准问题集合

    为了解决现有超参数优化基准缺乏现实性、多样性、低成本和标准化等问题，该研究提出了HPOBench基准，它包括多种实际且可复现的多保真度超参数优化基准问题，并提供计算成本较低的代理基准和表格基准以进行统计学评估。对于来自6种优化工具的13种优化器进行了大规模研究验证HPOBench的实用性。

    Sep, 2021

  • 自适应$τ$-Lasso: 其鲁棒性和Oracle特性

    本文提出了一个新的正则化的自适应tau-Lasso估计器，用于分析响应变量和协变量受到强烈污染的高维数据集，能够同时使用自适应L1范数惩罚项降低大真实回归系数与降低偏差的关联性，具有良好的鲁棒性和可靠性，表现比同类估计器更好或接近最佳，特别是在污染数据和期望回归矩阵/响应向量的情况下。同时也在探索鲁棒性质方面进行了验证。

    Apr, 2023

  • Lasso和Logistic Lasso的快速方法

    我们提出了一种快速方法来解决压缩感知、Lasso回归和逻辑回归问题，通过使用主动集方法迭代运行适当的解算器。我们设计了一种更新主动集的策略，相对于单个调用多个解算器，包括稀疏重构的梯度投影（GPSR）、Matlab的lassoglm和glmnet，实现了大幅加速。对于压缩感知问题，我们的方法与GPSR的混合平均速度提升为Gaussian合奏的31.41倍，二元合奏的平均速度提升为25.64倍。在我们的实验中，对于Lasso回归，我们的方法与GPSR的混合平均速度提升为30.67倍。在我们的逻辑回归实验中，我们的方法与lassoglm的混合平均速度提升为11.95倍，与glmnet的混合平均速度提升为1.40倍。

    Feb, 2024

  • 带潜变量的套索：高效估计、协变量缩放和计算统计差距

    稀疏线性回归中的相关性以及智能缩放解决方案

    Feb, 2024

  • 基于尖锐渐近分析的$\ell_1$正则回归中的迁移学习：超参数选择策略

    本研究解决了高维稀疏回归中超参数选择策略缺乏有效指导的问题，提出了一种基于尖锐渐近分析的方法。研究表明，在精细调整阶段忽略两种信息来源之一对泛化性能影响甚微，从而明显简化了超参数选择的过程。理论发现得到了IMDb数据集的实证支持，展示了方法的实际应用潜力。

    Sep, 2024