Apr, 2014

PCANet：一个用于图像分类的简单深度学习基线模型？

PDF
TL;DR本文提出了一个名为 PCA 网络（PCANet）的简单深度学习网络，它由级联主成分分析（PCA）、二进制哈希和块直方图等基本数据处理组件组成。PCANet 可以极其容易和高效地设计和学习，在多项基准视觉数据集上的表现不仅与各种手工特征和深度神经网络相当，而且在一些分类任务上取得了新的记录。
deep learningimage classificationpca networkbinary hashingblock-wise histograms
发现论文，激发创造
  • 用于图像分类的核主成分分析网络

    介绍一种名为 KPCANet 的深度学习网络，可以通过核主成分分析将非线性特征分类为线性，提高分类准确性，在人脸识别、物体识别和手写数字识别等任务中表现良好，优于主成分分析网络 PCANet，同时具有光照不变性和抗干扰性。

    Dec, 2015

  • 基于 PCA 的卷积网络

    本文提出了一种新颖的无监督深度学习模型，叫做基于 PCA 的卷积神经网络（PCN）。PCN 的结构由多个特征提取阶段和一个非线性输出阶段组成，其中卷积层的滤波器是通过 PCA 算法学习得到的，而在非线性输出阶段，采用二进制哈希。实验结果表明，PCN 在手写数字识别、人脸识别和纹理分类等挑战性任务中表现优秀，而且由于没有监督微调的反向传播，因此比现有的深度网络更高效。

    May, 2015

  • 使用 PCA 的低投入结构化 CNN 设计方法

    该研究论文提出了一种基于 PCA 的单次分析方式，可在不进行迭代重新训练的情况下，优化计算机视觉中的深度学习模型，包括 AlexNet，VGG 和 MobileNet，减少计算操作次数和参数数量。

    Dec, 2018

  • 利用主成分分析探索神经网络的学习表示

    对深度神经网络的特征表示进行理解仍然是可解释人工智能领域中一个开放问题。本研究使用主成分分析（PCA）来研究在 CIFAR-10 上训练的 ResNet-18 的逐层学习表示对 k 最近邻分类器（k-NN）、最近类中心分类器（NCC）和支持向量机的性能的影响。我们发现，在某些层次上，仅需 20% 的中间特征空间方差即可实现高精度分类，并且在所有层次上，前 100 个主成分完全决定了 k-NN 和 NCC 分类器的性能。我们将研究结果与神经崩溃现象联系起来，并提供了中间神经崩溃相关现象的部分证据。我们的初步工作利用线性仿射模型展示了三个不同但可解释的特征表示的代理模型，其中性能最好的是仿射线性模型。我们还展示了利用几个代理模型来估计 DNN 中可能开始出现神经崩溃的聪明方法。

    Sep, 2023

  • 点云网络：线性层参数数量的数量级改善

    引入了 Point Cloud Network (PCN) 架构，通过对线性层的直接比较，提供经验证据证明 PCN 优于多层感知机 (MLP)。在 CIFAR-10 和 CIFAR-100 数据集的训练中，AlexNet-PCN16 在其线性层参数减少 99.5% 的同时，达到与原始架构相当的测试准确率。

    Sep, 2023

  • 深度预测编码网络在物体识别中的应用

    本研究利用预测编码理论设计了双向、递归的深度预测编码网络，在图像分类中具有较高性能表现，与其单向前馈模型相比，其性能随着递归周期的增加而提高，并逐步准确地识别物体。

    Feb, 2018

  • 具有局部循环处理的深度预测编码网络用于对象识别

    这篇论文介绍了一种新的基于神经科学理论 “预测编码” 的神经网络，该网络包含反馈和前馈连接，能够让相邻层次间逐渐优化表征以最小化预测误差，并在图像分类和对象识别等任务上获得了具有竞争力的性能。

    May, 2018

  • PixelNet：通向通用像素级架构

    通过采用分层抽样和多尺度特征的方法，优化以卷积预测器为基础的像素级预测问题的神经网络结构，显著提高了模型在低级边缘检测、中级表面法线估计和高级语义分割中的性能.

    Sep, 2016

  • LCANets++：使用多层神经网络和横向竞争实现鲁棒音频分类

    通过稀疏编码的神经启发卷积神经网络（LCANets++）在多个层次上进行音频信号分类，相比于标准 CNN 和 LCANets，LCANets++ 对于干扰、例如背景噪音和白盒子、黑盒子攻击，例如规避和快速梯度符号（FGSM）攻击更具鲁棒性。

    Aug, 2023

  • 使用轻量级神经网络和主成分分析在工业控制系统中进行高效的网络攻击检测

    本文研究基于 1D 卷积和自编码器的简单轻量级神经网络攻击检测方法，将此方法应用于时间和频率域，评估结果表明，该方法能够匹配或超过先前的检测结果，同时具有小的足迹、短的训练和检测时间及普适性。此外，本文研究了所提方法对敌对攻击的鲁棒性，结果发现所提方法对敌对攻击具有强鲁棒性，可以受到更多信任。

    Jul, 2019