通过参数估计准确性和特征选择质量两个角度，我们得出了最小二乘回归与 $L_1$ 正则化的性能边界。对于 $L_1$ 正则化得出的主要结果扩展了 Dantzig 选择器中 [Ann.Statist.35 (2007) 2313-2351] 类似的结果，并肯定回答了 [Ann.Statist.35 (2007) 2358-2364] 中的一个未解问题。此外，该结果还产生了一种更广泛的特征选择观点，该观点比一些最近的工作具有更少的约束条件。基于理论洞察力，我们分析了具有选择性处罚的新型两阶段 $L_1$ 正则化过程，并表明如果目标参数向量可以分解为具有大系数的稀疏参数向量和具有相对较小系数的其他较少稀疏向量的总和，则两阶段过程可以提高性能。

Aug, 2009

对于具有噪声标签的二元分类问题，正则化线性回归是一种有前景的方法。本文系统研究了正则化强度对通过最小化正则化最小二乘目标来解决二元分类问题的线性分类器性能的影响。通过在超参数化条件下，假设类别是由高斯混合模型生成的，其中有一个小于 1/2 的比例的训练数据被误标记，我们严格分析了岭回归、L1 和 L∞回归应用时产生的分类错误。特别地，我们证明了岭回归总能改善分类错误。我们证明了 L1 正则化引起稀疏性，并观察到在许多情况下，不考虑 GMM 的稀疏结构，可以将解稀疏化两个数量级而不会有明显的性能损失。对于 L∞正则化，我们证明了对于足够大的正则化强度，最优权重集中在两个相反符号的值周围。我们观察到在许多情况下，将每个权重压缩到一个位时几乎不会造成性能损失。这些观察结果具有重要的实际影响。

Nov, 2023

自动模型发现中的稀疏回归、特征提取和神经网络的应用

Oct, 2023

本文回顾了特征选择领域内应用最广的方法，重点关注其精度和误检探测率随着样本数量增加的表现，并对比了常用的 Lasso 正则化方法以外，不太为人所知的非凸罚函数方法。通过实证分析，我们发现整数规划方案及其布尔松弛具有更优的性能表现，但相应的计算成本也更高。考虑到准确率、假检率和计算时间等综合评估因素，本文揭示了一些不同的特征选择方案，为相关领域的研究提供了参考依据。

Feb, 2019

本篇论文提出了一种基于正则化和对抗训练的跨语言模型，能够在口语理解系统中实现单词层面和句子层面的跨语言表示对齐，并在少量数据和零样本情况下实现比当前最先进方法更好的性能表现。

Sep, 2020

提出了解决稀疏逻辑回归和使用非凸惩罚项解决稀疏逻辑回归的优化框架，以同时进行分类和特征选择。通过实证实验，证明了所提算法在具有现实数据集的二分类任务中能够有效地进行分类和特征选择，且计算成本较低。

Sep, 2023

本文提出了两种等价的平滑凸优化问题，并使用 Nesterov's 方法来加速计算。我们还展示了 Euclidean Projection 的解析和线性计算方法，并在多个数据集上验​​证了该算法的有效性。

May, 2012

本文研究高维统计中的稀疏线性回归问题，特别关注相关随机设计条件下的 Lasso 算法以及基于特征适应的算法，提供了可以自适应处理少量近似相关性的 Lasso 算法优化及多项式复杂度的改进，以实现在常数稀疏度和任意协方差 Σ 情况下的最优样本复杂度。

May, 2023

本研究探讨了神经机器翻译的监督域自适应技术，针对现有模型在大型非领域数据集训练后，如何适应小型领域数据集所出现的过拟合问题。在整个过程中，正则化技术，如 dropout 和 L2 正则化与非领域先验之间的关系得到了深入研究。此外，文章提出了一种新型的正则化技术 ——tuneout，即启发式 dropout。我们将这些技术单独或结合应用于神经机器翻译，以英语 -> 德语、英语 -> 俄语的 IWSLT 数据集为例取得了改进。此外，我们还研究了 NMT 领域中所需的领域内训练数据量，并发现培训数据与 BLEU 分数之间存在对数关系。

Jul, 2017

提出了一种基于单个集合的谱稀疏化和杠杆分数采样的特征选择方法，用于分类问题和岭回归问题，并在固定设计的情况下，给出了两种方法的风险边界和实验结果，表明所提出的方法比现有的特征选择方法表现更好。

Jun, 2015