ICMLJul, 2023

XLDA：边缘极端分类规模连续学习的线性判别分析

PDF
TL;DR在边缘部署的类增量学习中，流式线性判别分析（LDA）在有限类别的情况下（最多 1000 个）得到了证明，但对于极端分类场景的部署尚未得到证明。本文提出了 XLDA 框架，该框架在边缘部署中将 LDA 分类器证明与 FC 层等效，包括在极端分类场景中；并对可用的计算资源进行优化以实现基于 XLDA 的训练和推断。我们展示了使用批处理训练方法加速多达 42 倍，并在极端数据集（如 AliProducts（50k 类别）和 Google Landmarks V2（81k 类别））上通过最近邻搜索加速多达 5 倍的推断。
发现论文，激发创造
  • 深度线性判别分析

    本文提出了 Deep Linear Discriminant Analysis（DeepLDA）方法，通过在深度神经网络中，学习可分离的线性潜在表示以进行分类的降维。作者的目标是最大化特征分布的相似度以推广传统的 LDA 算法，通过三个基准数据集的评估，DeepLDA 在 MNIST 和 CIFAR-10 上得到了竞争性的结果，在 STL-10 上也优于使用分类交叉熵进行训练的网络。

    Nov, 2015

  • 基于深度流线性判别分析的终身机器学习

    本文研究了基于流式线性判别分析的深度学习方法，以提高流式学习和增量批量学习在分类任务上的性能。其中特别解决了深度神经网络中因为新信息替换旧信息而带来的灾难性遗忘问题，并在两个分类任务上实现了优越的分类效果。

    Sep, 2019

  • 用谐波平均线性判别分析进行鲁棒性图像分类

    本篇论文介绍了一种基于调和均值的线性判别分析方法 -- 多类别判别分析，用于图像分类以及多标签的降维。实验结果表明，MCDA 在分类准确率、宏 F1 score 和微 F1 score 等方面优于其他单标签和多标签方法。

    Oct, 2016

  • GO-LDA: 广义最优线性判别分析

    本文提出了一种新的多类别线性判别分析 GO-LDA 方法，通过构造每个步骤中最大化 Fisher 准则的正交鉴别方向可以分离投影数据。该方法在多种模式识别和分类问题上都能提高准确性。

    May, 2023

  • 最小信息线性判别分析：使用无标签数据训练 LDA 模型

    该论文研究了线性判别分析（LDA）方法在有限的先验信息下如何计算未标记数据的精确投影向量，并验证了该方法在适应非平稳数据方面的优势。

    Oct, 2023

  • 使用非线性协方差矩阵估计器的正则化线性判别分析

    利用正半定岭估计器及非线性协方差矩阵估计器，本文提出了一种新颖的 NL-RLDA 分类器，并通过综合性能评估表明其在合成数据和真实数据上的有效性。与现有方法相比，该技术在多个数据集上均表现优异。

    Jan, 2024

  • 深度极端多标签学习

    该论文提出了一种利用非线性嵌入和基于图先验的标签空间建模相结合的实用深度嵌入方法，以解决规模庞大的标签空间问题，并在多个公共数据集上进行了实验。

    Apr, 2017

  • 极端标签稀缺情况下的自主跨领域适应

    LEOPARD 是一种基于深度聚类网络的跨域多流分类解决方案，通过深度聚类策略和对抗域适应策略，可以处理极端标签短缺的情况下，只使用非常少的源流标记样本。

    Sep, 2022

  • 线性和二次判别分析：教程

    该论文介绍了线性判别分析和二次判别分析作为统计和概率学习中的两种基本分类方法，涵盖了决策边界优化、二元和多元类别的 LDA 和 QDA、LDA 和 QDA 与度量学习、核 PCA、马氏距离，Logistic 回归、朴素贝叶斯、最大似然比检验的联系，证明了 LDA 和 Fisher 判别分析是等价的，并通过模拟进行了一些理论的澄清。

    Jun, 2019

  • DELTA：解耦长尾在线持续学习

    DELTA 是一种增强学习表示、解决长尾在线连续学习中类别不平衡问题的分离式学习方法，通过适应性有监督对比学习吸引相似样本和排斥不相似（非类内）样本，平衡训练期间的梯度并通过等化损失显著提升学习结果，并成功缓解了灾难性遗忘，扩展了增量学习的能力，超越了现有的 OCL 方法，对实际应用具有重大的潜在价值。

    Apr, 2024