揭示不可见的东西：训练的深度可分卷积核中的可识别聚类

Jan, 2024

揭示不可见的东西：训练的深度可分卷积核中的可识别聚类

Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels

Zahra Babaiee, Peyman M. Kiasari, Daniela Rus, Radu Grosu

TL;DR最近在深度可分离卷积神经网络（DS-CNNs）方面的进展已经引发了新的架构，通过相当大的可扩展性和准确性优势，超越了经典 CNNs 的性能。本文揭示了 DS-CNN 架构的另一个引人注目的特性：它们训练后的深度卷积核在所有层中出现了明显可辨和可解释的模式。通过对数百万个训练滤波器的广泛分析，我们使用自编码器进行无监督聚类，对这些滤波器进行了分类。令人惊讶的是，这些模式汇聚成了几个主要簇，每个簇都类似于高斯差分函数（DoG）及其一阶和二阶导数。值得注意的是，我们能够将来自最先进的 ConvNextV2 和 ConvNeXt 模型的滤波器分别分类为 95％和 90％以上。这一发现不仅仅是技术上的奇特之处；它回应了神经科学家长期以来对哺乳动物视觉系统的基础模型的提议。因此，我们的结果加深了对训练后 DS-CNN 的出现属性的理解，并在人工和生物视觉处理系统之间提供了一个桥梁。更广泛地说，它们为未来更具可解释性和生物灵感的神经网络设计铺平了道路。

Abstract

Recent advances in depthwise-separable convolutional neural networks (ds-cnns) have led to novel architectures, that surpass the performance of classical CNNs, by a considerable scalability and accuracy margin. T

depthwise-separable convolutional neural networks ds-cnns depthwise convolutional kernels unsupervised clustering biologically-inspired neural network designs

发现论文，激发创造

卷积聚类用于无监督学习

本文介绍了一种基于增强版 k-means 聚类算法的深度卷积神经网络，该算法通过无监督学习技术利用分层特征来减少相关参数的数量，从而提高了测试分类精度。作者进一步展示了学习深度卷积神经网络各层之间的连接能够提高网络在少量标记数据上的训练能力，最终在 STL-10 数据集上获得 74.1% 的测试准确率以及在 MNIST 数据集上仅有 0.5% 的测试误差。

Nov, 2015

深度卷积神经网络分析的改进

本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

Apr, 2016

深度监督网络

本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入 “伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在 MNIST，CIFAR-10，CIFAR-100 和 SVHN 等基准数据集上的表现均优于现有技术的最新水平）。

Sep, 2014

邻域发现的无监督深度学习

本文提出了一种通用的无监督深度学习方法，通过发现样本邻域来推理和累计学习潜在的类别决策边界，进而进行分类，实验结果显示该方法在图像分类方面优于先前的无监督学习模型。

Apr, 2019

神经回响：深层卷积滤波器复制生物感受野

我们提供了支持的分析，显示出深度卷积核能够有效地复制哺乳动物视网膜中观察到的生物感受野的结构复杂性。在此基础上，我们提出了一个启发于生物感受野的初始化方案，并利用多个包含深度卷积的 CNN 架构在 ImageNet 数据集上进行实验分析，结果表明使用生物启发的权重初始化可以明显提高学习模型的准确性，这突显了生物启发型计算模型进一步推动视觉处理系统理解和改善卷积网络效果的潜力。

Jan, 2024

具有示例卷积神经网络的判别式无监督特征学习

本文介绍了一种使用无标签数据训练卷积网络的方法，该方法可用于通用特征学习，通过应用多种变换来区分一组代理类别，获得了比监督学习更具鲁棒性的特征表示，能在几个流行数据集上取得胜于现有结果的分类效果。

Jun, 2014

深度分解：在高效卷积神经网络中加速可分离卷积

本文提出了一种基于 SVD 的分解方法，将常规卷积扩展为深度可分离卷积，从而在维持高准确性的同时，优于通道分解方法，提高了 ShuffleNet V2 模型的 Top-1 准确率约 2％。

Oct, 2019

基于离散小波变换的卷积神经网络的详细密集推断

该论文提出了一种基于 CNN 编码器 - 解码器结构的 WCNN，并在城市景观数据集上进行了实验，结果表明它能够有效地进行高分辨率密集像素预测并提高准确性。

Aug, 2018

卷积神经网络通过决策树对特征图进行知识蒸馏

通过提取卷积神经网络的最终层中的特征并使用决策树进行训练，我们提出了一种蒸馏方法来解释深度神经网络的推理，展示了决策树在解释卷积神经网络决策时的表现与最小复杂度的卷积神经网络相当好。

Mar, 2024

通过对特定类别过滤器微分训练可解释的卷积神经网络

本文主要介绍了一个用于训练卷积神经网络的新策略，通过向网络中添加可学习的稀疏 Class-Specific Gate 结构，以鼓励针对每个类别的滤波器，从而减轻 “黑盒” 问题和滤波器 - 类别缠结问题；通过在对象定位和对抗样本检测等应用中的实验证明，该方法比标准训练策略更加优异。

Jul, 2020