PBES:基于主成分分析的示例采样算法的连续学习
基于主成分分析,我们提出了一种具有持续学习能力的监控多模式过程的改进算法 PCA-EWC,该算法通过采用弹性权重一致化方法来解决 PCA 对于连续模式的灾难性遗忘,有效地保留了先前模式的显著特征。我们还扩展了该算法以适应于一般多模式过程,并通过数值实验和实际工业系统的应用来验证其有效性。
Dec, 2020
本文介绍了一种基于经验贝叶斯(Empirical Bayes)的主成分分析(PCA)方法,通过估计主成分的共同先验分布来降低高维的噪声,同时运用了随机矩阵理论的分布结果和近似消息传递算法进行迭代修正,实验验证了该方法可以在有强先验结构的情况下显著提高 PCA 的性能。
Dec, 2020
本文提出了一种基于团伙分类任务的无监督训练方法,用于解决在仅有单个正样本、多个负样本以及不可靠的标注关系之间训练卷积神经网络的不足,并将其应用于姿态分析和物体分类任务。
Aug, 2016
探讨使用罕见值鲁棒性来降低传统主成分分析的敏感性,研究低秩分解与稀疏分量,提出了一种新型的伪贝叶斯算法来解决现有非凸方法的设计缺陷,达到了顶尖表现及可扩大的操作范围。
Dec, 2015
对深度神经网络的特征表示进行理解仍然是可解释人工智能领域中一个开放问题。本研究使用主成分分析(PCA)来研究在 CIFAR-10 上训练的 ResNet-18 的逐层学习表示对 k 最近邻分类器(k-NN)、最近类中心分类器(NCC)和支持向量机的性能的影响。我们发现,在某些层次上,仅需 20% 的中间特征空间方差即可实现高精度分类,并且在所有层次上,前 100 个主成分完全决定了 k-NN 和 NCC 分类器的性能。我们将研究结果与神经崩溃现象联系起来,并提供了中间神经崩溃相关现象的部分证据。我们的初步工作利用线性仿射模型展示了三个不同但可解释的特征表示的代理模型,其中性能最好的是仿射线性模型。我们还展示了利用几个代理模型来估计 DNN 中可能开始出现神经崩溃的聪明方法。
Sep, 2023
该研究提出了一种新方法,基于预测误差的分类(PEC),用于解决类递增学习中的遗忘和不平衡问题。实验结果表明,PEC 在单次数据通过的 CIL 中表现出色,能够在多个基准测试中优于其他无重复排练基线和中等重放缓冲区大小的重放基础方法。
May, 2023
通过对当前样本进行对抗性扰动,使其在嵌入空间中的嵌入接近旧模型的旧类别原型,从而估计无忆样本方法中的特征漂移并相应地进行原型补偿。实验证明,该方法在嵌入空间中更好地追踪了原型的移动并在多个标准连续学习基准测试以及细粒度数据集上胜过了现有方法。
May, 2024
本研究针对在已知分布均值为零和未知协方差的情况下,使用增量算法以 O (d) 空间复杂度计算顶部特征向量,对 Krasulina 和 Oja 的两种传统方案进行了有限样本收敛率分析。
Jan, 2015
在自动驾驶领域,我们提出了一种基于分析原则和岭回归的无样本在线继续学习方法,用于解决自动驾驶中的连续学习问题,包括灾难性遗忘和数据不平衡,并通过生成偏移伪特征来处理数据不平衡。实验证明,我们的方法在自动驾驶数据集上表现优于其他方法。
May, 2024