ICMLOct, 2020

可分数据上广义间隔最大化器 (GMM) 的性能分析

PDF
TL;DR本文研究了一种更一般的情形，其中逻辑模型的底层参数具有某些结构，并引入了更一般的框架（称为 “广义边缘最大化器”，GMM），该模型是逻辑损失的一般线性模型。通过解决一组非线性方程的解来提供 GMM 性能的精确分析，在三种特殊情况下提供了详细的研究结果，验证了我们的理论结果。
logistic modelsmax-margin classifiergeneralized margin maximizerconvex functionparameter vector
发现论文，激发创造
  • 高维二元线性分类问题的双重下降模型

    研究了 logistic regression 中特征子集 $p$ 在 $n$ 训练样本上训练线性分类器的模型，运用梯度下降 （GD）方法在逻辑损失上训练分类器。基于 GD 的隐式偏置，在高斯特征情况下揭示了相变现象，对最大似然（ML）解和最大边际（SVM）解的分类误差进行了锐利的表征，得到了分类误差曲线，并揭示了双峰现象。

    Nov, 2019

  • 分离数据梯度下降的隐式偏差

    本研究发现，在无正则化的逻辑回归问题、线性可分数据集上，使用均匀线性预测器的梯度下降法会收敛于最大间隔解的方向。收敛速度缓慢，方法适用于其他单调递减的损失函数、多类别问题和某些受限情况下的深层网络训练。此研究还可帮助理解模型的隐式正则化和其他优化方法。

    Oct, 2017

  • 基于最大间隔线性分类器的不确定数据学习

    本文提出一种最大间隔分类器 SVM-GSU，使用多维高斯分布描述每个训练样本，以处理数据输入中的不确定性，并使用随机梯度下降方法高效地解决凸优化问题。通过测试，证明该方法的有效性。

    Apr, 2015

  • 具有数据增强的 Gibbs 最大裕度主题模型

    本文提出了 Gibbs max-margin 监督主题模型的新型损失函数，通过引入增广变量和解析地消除 Dirichlet 变量，从而开发了简单的 Gibbs 抽样算法以解决多个潜在 SVM 子问题，且无需限制假设和解决 SVM 子问题，从而在许多分类任务中实现了时间效率和分类性能的显着提高。

    Oct, 2013

  • 可分数据上梯度下降的收敛性

    对采用严格单调尾部的损失函数（如对数损失）在可分离数据集上利用梯度下降时的隐式偏差进行了详细研究，证明了对于一大类超多项式尾部损失，梯度下降迭代可以收敛到任意深度的线性网络的 L2 最大边距解。

    Mar, 2018

  • 支持向量机精确定误分析

    研究高维和大量数据下来自高斯混合分布的软间隔和硬间隔支持向量机分类器的渐近行为，并提出了应用于分类错误率、边缘和偏差等重要参数的尖锐预测。同时，通过分析硬间隔 SVM 可分离的最大训练样本数，精确比较了硬间隔和软间隔 SVM 的性能，并提高了对相关参数（如测量数量和边缘参数）对分类性能的理解。

    Mar, 2020

  • 双重加速快速实现边缘最大化

    介绍了一种基于动量的梯度方法，使用最大化分类间隔相结合的凸对偶来训练线性分类器，表现出优异的性能

    Jul, 2021

  • 广义广义线性模型：凸估计和在线界限

    提出一个计算新框架以估算广义广义线性模型 (GGLM) 中的参数，该模型扩展了流行的广义线性模型 (GLM) 以解释时空数据中的观测依赖性。该方法使用单调算子为基础的变分不等式方法来克服参数估计中的非凸性并提供参数恢复的保证，适用于 GLM 和 GGLM，重点关注时空模型，并使用数值模拟和真实数据实例演示算法的性能。

    Apr, 2023

  • 基于近紧边距的支持向量机广义化界

    本文重新审视和改进了最大化边际的基本分类工具 SVM 的广义界限，并通过近乎匹配的下限补充了新的广义界限，从而几乎解决了 SVM 在边际方面的广义性能。

    Jun, 2020

  • 正则化对高维逻辑回归的影响

    本文研究了高维情况下正则化逻辑回归（RLR），其中加入了鼓励所需结构的凸正则项。通过求解一组非线性方程组，我们提供了 RLR 性能的精确分析，并获得了各种性能度量的显式表达式。我们进行了广泛的数值模拟，并在各种参数值和问题实例中验证了理论。

    Jun, 2019