本文提出了批处理和随机的原始 - 对偶算法，可以自适应地利用数据的强凸性，即使在没有正则化的情况下也能实现线性收敛，并介绍了适用于逻辑回归的免双重正演算法。

Mar, 2017

本文提出基于 primal-dual coordinate 方法，并应用于解决包含线性规划、分类和回归问题的双线性鞍点问题。通过设计高效的数据结构和低方差梯度估计器，我们获得了近乎恒定的每次迭代复杂度，并且在采样复杂度上实现了改进。同时，我们应用该方法到最小圆覆盖，最大内接圆和线性回归的计算几何问题中，并获得了改善的计算复杂度。

Sep, 2020

本文证明了对于线性可分数据，梯度下降的隐式偏差可以通过最优解的双重优化问题完全描述，从而实现了对一般损失的训练。此外，使用 L2 最大间隔方向的恒定步长可以获得 O (ln (n)/ln (t)) 的收敛速率，而使用适当选择的主动步长时间表，则可以获得对于 L2 间隔和隐式偏差的 O (1/t) 收敛速率。

Jun, 2019

该研究提供了一种用于大规模多类（和多标签）预测的简单算法，其鲁棒性强且不需要参数；这些基于二次结构的算法能够在理论和实践中胜过基于一阶方法的算法，并且通过可扩展的分阶段方法，通过增加计算速度改善准确率。

Oct, 2013

本文研究了多分类算法的泛化性能，首次获得一种基于数据的泛化误差界限，并在现有数据相关泛化分析的线性依赖条件基础上，显著提高了类大小的对数依赖性。理论分析促使我们引入了一种基于 $\ell_p$- 范数正则化的新型多分类分类机器，其中参数 $p$ 控制相应限制的复杂度。我们基于 Fenchel 对偶理论导出了一种高效的优化算法。对几个真实世界数据集的基准测试表明，所提出的算法可以实现显着的精度提高。

Jun, 2015

研究了 logistic regression 中特征子集 $p$ 在 $n$ 训练样本上训练线性分类器的模型，运用梯度下降 （GD）方法在逻辑损失上训练分类器。基于 GD 的隐式偏置，在高斯特征情况下揭示了相变现象，对最大似然（ML）解和最大边际（SVM）解的分类误差进行了锐利的表征，得到了分类误差曲线，并揭示了双峰现象。

Nov, 2019

讨论非欧几里得确定性和随机算法，解决强凸和一致凸的优化问题，提供算法性能的准确性界限，设计针对强或一致凸性参数的自适应方法：在总迭代次数 $N$ 固定的情况下，它们的准确度与最优算法的准确度相同，直到 $N$ 的对数因子。

Jan, 2014

本文介绍了多步优化算法的收敛加速方案，并使用 Chebyshev 问题模拟了迭代过程中的行为，同时讨论了该方案在原始 - 对偶算法中的应用，并在逻辑回归问题中进行了数值实验。

Oct, 2018

本研究基于增量单元枚举（ICE）算法，详细介绍了一种可以在多项式时间内精确解决 0-1 损失线性分类问题的算法，据我们所知，这是该旷古难题的第一个经过严格证明的多项式时间算法。

Jun, 2023

介绍了一种基于动量的梯度方法，使用最大化分类间隔相结合的凸对偶来训练线性分类器，表现出优异的性能

Jul, 2021