Sep, 2023

基于牛顿法的子空间支持向量数据描述

PDF
TL;DR本文介绍了一种适应于 Subspace Support Vector Data Description（S-SVDD）的 Newton 方法的改进。通过利用 Newton 方法增强数据映射和描述，以实现基于子空间学习的一类分类的优化。实验证明，该优化策略在大多数情况下优于基于梯度的 S-SVDD。
发现论文，激发创造
  • Stein 变分牛顿法

    本文提出了一种改进的 Stein 变分梯度下降（SVGD）算法，采用函数空间的 Newton 迭代近似二阶信息以加速算法，同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中，我们观察到与原始 SVGD 算法相比，有了显著的计算优势。

    Jun, 2018

  • RSN：随机子空间牛顿法

    本研究提出了一种基于随机化草图的随机牛顿法，可以解决具有巨大维度的特征空间的学习问题，并通过开发全局线性收敛理论，证明了其有效性。

    May, 2019

  • Krylov 子空间下降用于深度学习

    本研究提出了一个针对高维模型和大量训练样本的二阶优化方法，使用 Krylov 子空间进行训练加速，并在深度神经网络中的效果优于 SGD、共轭梯度下降和 L-BFGS 等算法，且优于 Hessian Free 方法。

    Nov, 2011

  • 数据分类的一种 SVM 方法替代方案

    支持向量机（SVM）是一种流行的用于数据分类的核方法，本文提出一种基于最佳子空间的最小距离的新方法，以解决 SVM 存在的时间处理、高维情况下优化过程失败、多类别泛化、不平衡类别和动态分类的问题，并取得了类似的性能改进。

    Aug, 2023

  • Newton-Sketch 和子采样 Newton 方法的研究

    本文研究了在解决变量数量和数据点数量都很大的有限和最优化问题的 Newton 法的背景下，两种数据空间维数缩减方法：Hessian 子采样和随机 Hadamard 变换。通过一系列数字实验和 Hessian 子采样方法的复杂性分析，揭示了使用共轭梯度方法相对于随机梯度迭代方法的优势。

    May, 2017

  • 支持向量数据描述的核带宽选择的痕迹准则

    该研究提出了一种新的无监督方法来选择高斯核带宽值，其利用核矩阵的低秩表示来建议带宽值，该方法在低维数据上与现有技术相当，对许多类高维数据表现极好。

    Nov, 2018

  • 一种学习主子空间的新型随机梯度下降算法

    本文基于样本输入数据推导出一种算法，可以学习如何从具有潜在主子空间的矩阵中进行分类或降维，适用于神经网络，可以有效地扩展到无限数量的行和列上。

    Dec, 2022

  • 高效的子采样 Gauss-Newton 和自然梯度方法用于训练神经网络

    使用 Levenberg-Marquardt 的 Gauss-Newton 和自然梯度方法，解决深度神经网络大量变量和海量数据集所产生的非凸优化问题，证明方法能够有效实现并提出数值结果。

    Jun, 2019

  • 深度支持向量

    通过实证研究表明，深度学习模型中的深度支持向量（Deep Support Vectors，DSVs）类似于支持向量机（Support Vector Machines，SVM）中的支持向量，从而为解释模型的决策标准提供了一种切实可行的方法。此外，我们的发现表明，可以使用 DSVs 有效地重建模型，类似于 SVM 的过程。代码将会提供。

    Mar, 2024

  • 机器学习的非凸优化：梯度、随机性和鞍点

    本文研究梯度下降和随机梯度下降等算法在机器学习中的应用，分析了这些算法在非凸优化问题中收敛到驻点的情况，提出了变形的算法可以更高效地避免出现维数灾难，从而沟通了理论和实践。

    Feb, 2019