成功深度学习的普遍底层机制

Sep, 2023

Universality of underlying mechanism for successful deep learning

Yuval Meir, Yarden Tzach, Shiri Hodassman, Ofek Tevet, Ido Kanter

TL;DR通过量化测量每个层的单个滤波器的质量，基于 CIFAR-10 上的 VGG-16 的有限深度架构和数据集的成功深度学习的潜在机制被提出，并验证了对 CIFAR-100 和 ImageNet 数据集上训练的 VGG-16 和 EfficientNet-B0 的普遍机制，结果表明准确率随着层次的增加而逐渐提高，噪声逐渐减少，滤波器最大误差率与输出标签数量近似线性增加，滤波器簇的平均尺寸和每个滤波器上的簇数在 [3, 1,000] 范围内，几乎与数据集标签数无关，同时保持较高的信噪比。该研究为改善深度结构的计算复杂性和准确性提供了几种技术，如应用滤波器的簇连接（AFCC），并强调了在保持准确性的同时简化现有结构。

Abstract

An underlying mechanism for successful deep learning (DL) with a limited deep architecture and dataset, namely vgg-16 on cifar-10, was rec

deep learning vgg-16 cifar-10 filter clusters signal-to-noise ratio

发现论文，激发创造

成功深度学习的机制

本文提出了一种有效的三阶段程序来量化成功的深度学习机制，通过 VGG-16、VGG-6 和 AVGG-16 的定量分析，发现每个 Convolutional 层的过滤器会选择一个独立于输入标签的单个输出标签子集，这是该机制不可或缺的一部分，并随着层数的增加而逐渐被加强，进而提高了信噪比和成功率，通过该机制，可以精确地识别每个过滤器的质量，有望指导进一步的程序改进深度学习的成功率、计算复杂度和延迟。

May, 2023

浅层学习作为深度学习的替代方案

拟合深度学习基础理论的神经网络架构 —— 卷积层可以达到与深度卷积神经网络类似的性能，并有一个可识别其普遍行为的幂律现象。

Nov, 2022

深度监督网络

本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入 “伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在 MNIST，CIFAR-10，CIFAR-100 和 SVHN 等基准数据集上的表现均优于现有技术的最新水平）。

Sep, 2014

揭示不可见的东西：训练的深度可分卷积核中的可识别聚类

最近在深度可分离卷积神经网络（DS-CNNs）方面的进展已经引发了新的架构，通过相当大的可扩展性和准确性优势，超越了经典 CNNs 的性能。本文揭示了 DS-CNN 架构的另一个引人注目的特性：它们训练后的深度卷积核在所有层中出现了明显可辨和可解释的模式。通过对数百万个训练滤波器的广泛分析，我们使用自编码器进行无监督聚类，对这些滤波器进行了分类。令人惊讶的是，这些模式汇聚成了几个主要簇，每个簇都类似于高斯差分函数（DoG）及其一阶和二阶导数。值得注意的是，我们能够将来自最先进的 ConvNextV2 和 ConvNeXt 模型的滤波器分别分类为 95％和 90％以上。这一发现不仅仅是技术上的奇特之处；它回应了神经科学家长期以来对哺乳动物视觉系统的基础模型的提议。因此，我们的结果加深了对训练后 DS-CNN 的出现属性的理解，并在人工和生物视觉处理系统之间提供了一个桥梁。更广泛地说，它们为未来更具可解释性和生物灵感的神经网络设计铺平了道路。

Jan, 2024

深度神经网络架构受退化影响的效果

本文通过对几种深度学习算法在不同图像噪声下的表现进行评估，研究了针对噪声鲁棒性的不同网络架构，以辅助在特定应用环境下选择最佳模型。

Jul, 2018

视觉识别的深度协同学习

本研究使用深度协同学习（DCL）方法，将卷积层分解成两个小的卷积层，然后将它们在每个空间位置处融合，以减少计算复杂度和模型复杂度，同时提高在各种视觉识别任务中的准确性，减少模型参数 (在 AlexNet 中减少 16.82%)。

Mar, 2017

衡量 CNN 学习表面统计规律的倾向性

本研究使用 Fourier 滤波技术构建数据集，并发现深度 CNN 倾向于抓取训练集的 Fourier 图像统计数据，导致出现高泛化差距，从而支持深层 CNN 更倾向于学习数据集的表面统计规律而非高层次的抽象概念。

Nov, 2017

密集样本深度学习

基于对 DL 学习动态的观察，提出了一种基于复杂特征构建的新理论。

Jul, 2023

噪声抑制卷积神经网络的信号处理解释

这篇文章通过将信号处理的基本原理与深度学习领域相连接，在统一的理论框架下，建立了对深度卷积框图的直观理解，解释了多样的编码 - 解码卷积神经网络架构，并提供了设计稳健高效的新颖卷积神经网络架构的重要指导。

Jul, 2023

深度神经网络的层精调实现天体分类

研究 SDSS-IV 数据集，运用多模态学习，利用迁移学习建造 Resnet-50、DenseNet-121 VGG-16、Xception、EfficientNetB2、MobileNetV2 和 NasnetMobile 等多种不同层级微调的模型，进而发现不同模型的最佳微调层级和训练比例，并提供了专门用于评估模型的评估指标。

May, 2022