逻辑回归：随机和在线优化的紧密边界
使用逻辑损失训练的深度神经网络（DNN）在各种二元分类任务中取得了令人印象深刻的进展，然而，关于 DNN 和逻辑损失的二元分类的泛化分析仍然很少。本文旨在通过建立一种新颖而优雅的 oracle-type 不等式，并利用它推导全连接的 ReLU DNN 分类器在逻辑损失下的尖锐收敛速率，以填补这一空白。此结果解释了为什么 DNN 分类器在实际高维分类问题中表现良好。
Jul, 2023
通过发现 logistic loss 是 1-mixable，我们设计了一个新的高效的 improper learning algorithm，解决了 COLT 2012 open problem variant 中的问题，并在预测器范数上具有双重指数提高的遗憾限制，这提供了一种解决在线学习领域中的问题的方法，我们还展示了这种改进对多类学习和在线提升等应用的影响。
Mar, 2018
使用混合整数优化技术得出一种新的损失函数，使之比现有方案更好地逼近 0-1 损失函数，同时保持学习问题的凸性，具有与标准支持向量机相竞争的性能，且在存在异常值时表现更好。
Feb, 2024
该研究论文探讨了如何使用凸优化方法和自协调函数对正方形误差和逻辑损失进行理论分析，并将这些方法应用于逻辑回归中，通过结果表明二元分类的新结果可以从最小二乘回归中轻松衍生。
Oct, 2009
本文证明了在使用可变学习率运行梯度下降时，对于逻辑回归目标函数，损失 f (x) ≤ 1.1・f (x*) + ε，其中误差 ε 按迭代次数指数下降，并按任意固定解决方案 x* 条目大小的多项式下降。该文还将这些思想应用于稀疏逻辑回归，在那里它们导致了稀疏误差交换的指数改进。
Jun, 2023
运用梯度下降方法解决逻辑回归问题中，得出的迭代结果存在一定程度的偏差，最终趋于数据集的最大可分线性子集的最大间隔预测方向，该方向可以表示数据与偏置的关系，迭代过程中可以逐步地逼近，并且在给定收敛率的前提下，可以恢复出该偏移量。
Mar, 2018
使用常数步长的梯度下降算法应用于线性可分数据的逻辑回归，证明了在初始震荡阶段后，算法能够在 a 步的时间内实现 O (1/(aT)) 的收敛速率，从而在总步数为 T 的情况下，通过积极地调整步长可以达到 O (1/T^2) 的加速损失，无需使用动量或变化的步长调度器。
Feb, 2024
本研究讨论了使用第一阶梯度算法进行的非凸随机优化问题，其中梯度估计可能具有重尾特征，结果表明梯度剪裁，动量和归一化梯度下降的组合可以在高概率下收敛于关键点，特别适用于光滑损失的已知最佳速率，适用于任意光滑度规范，并针对克服该领域二阶光滑损失引发的问题进行讨论。
Jun, 2021