Dec, 2019

高维稀疏二次判别分析的凸优化方法

PDF
TL;DR本文研究高维稀疏二次判别分析 (QDA)，旨在建立最优的收敛速率以实现分类误差。我们提出了一种分类算法 SDAR，使用基于稀疏假设下的约束凸优化。该算法的最小化上下界都被得到。模拟研究证明，SDAR 在数值上表现良好。我们还将此方法论扩展到多组分类和高斯椎体模型分类。
high-dimensionalsparsequadratic discriminant analysisclassificationconvex optimization
发现论文，激发创造
  • 稀疏线性判别分析的直接估计方法

    本文研究高维数据的稀疏线性判别分析，提出了一种基于约束 L1 范数最小化，直接估计精度矩阵和均值向量差积的线性规划判别规则（LPD），该规则具有理论上的可行性和数值上的优越性，同时还能在无法一致估计精度矩阵和均值向量差时发挥作用。该规则应用于肺癌和白血病数据集分析中，表现出优异的表现。

    Jul, 2011

  • 高维线性判别分析：最优性、自适应算法和缺失数据

    提出一种基于自适应受限 L1 最小化方法的无需调参分类规则，并证明了其在一组参数空间内的速率最优性。同时，对于存在缺失数据的分类问题，引入了一种具有理论保证的自适应分类器，并建立了在 MCR 模型下高维线性判别分析的最优收敛率。该研究围绕线性判别分析的最优性理论展开，并在实际的肺癌和白血病研究中进行了应用。

    Apr, 2018

  • 线性和二次判别分析：教程

    该论文介绍了线性判别分析和二次判别分析作为统计和概率学习中的两种基本分类方法，涵盖了决策边界优化、二元和多元类别的 LDA 和 QDA、LDA 和 QDA 与度量学习、核 PCA、马氏距离，Logistic 回归、朴素贝叶斯、最大似然比检验的联系，证明了 LDA 和 Fisher 判别分析是等价的，并通过模拟进行了一些理论的澄清。

    Jun, 2019

  • 高维非线性分类创新交互筛选

    本文介绍了一种名为 IIS-SQDA 的方法，该方法通过屏蔽重要交互作用并同时进行分类来解决高维度线性分类问题，并通过 QDA 的系数向量建立了一个稀疏不等式来证明我们的分类方法具有很好的性能。

    Jan, 2015

  • FEMDA：一种强大而灵活的分类方法

    研究一种新的辨别分析技术，可以应对非高斯分布和数据污染，采用椭圆对称分布和任意比例参数建模，从而实现抗尺度变化的简单、快速、鲁棒的决策规则

    Jul, 2023

  • 低密度分离假设下监督学习和无监督学习之间的随机矩阵分析

    我们提出了一个理论框架，用于分析高维情况下基于低密度分离假设的半监督分类。我们介绍了 QLDS，一个线性分类模型，其中低密度分离假设通过二次边界最大化来实现。该算法具有显式解和丰富的理论性质，我们证明了我们算法的特殊情况是有监督情况下的最小二乘支持向量机，完全非监督情况下的谱聚类以及一类半监督图方法。因此，QLDS 在这些有监督和无监督学习方法之间建立了一个平滑的桥梁。利用随机矩阵理论的最新进展，我们正式推导了在渐近情况下的分类误差的理论评估。作为应用，我们得出一个超参数选择策略，找到在我们学习准则的有监督项和无监督项之间的最佳平衡。最后，我们提供了我们框架的广泛示例，以及在几个基准测试上的实验研究，证明了 QLDS 在计算效率更高的同时，在超参数选择上优于交叉验证，表明随机矩阵理论在半监督模型选择中具有很大的潜力。

    Oct, 2023

  • 随机对偶上升用于解线性系统

    提出了一种新的随机迭代算法 —— 随机对偶上升 (SDA)，用于在线性系统的解空间中找到给定向量的投影。该算法通过随机矩阵的列子空间上的精心选择点来更新对偶变量，并证明了与对偶过程相关的原始迭代会期望指数级别收敛至投影。SDA 收敛于一致性之外的无其他假设的线性系统，特殊情况下，该方法可用于分布式平均共识问题，产生各种新算法。

    Dec, 2015

  • 通用核学习的高效凸优化算法

    本文提出了一种基于最小最大优化问题的 SVD-QCQP 原始 - 对偶算法来优化半可分离核函数，极大地降低了计算复杂度，并且在分类和回归中提供了有效的实现。当应用于基准数据时，该算法表现出了显著的精度改进潜力，而计算时间与神经网络和随机森林等典型方法相似甚至更好。

    Apr, 2023

  • 使用非线性协方差矩阵估计器的正则化线性判别分析

    利用正半定岭估计器及非线性协方差矩阵估计器，本文提出了一种新颖的 NL-RLDA 分类器，并通过综合性能评估表明其在合成数据和真实数据上的有效性。与现有方法相比，该技术在多个数据集上均表现优异。

    Jan, 2024

  • 随机梯度下降 - 上升：统一理论和新高效方法

    本文提出了 SGDA 的统一收敛性分析框架，覆盖了各种随机梯度下降上升方法，并分别提出了多种新变体方法，通过大量数值实验证明了这些方法的重要性质。

    Feb, 2022