Jan, 2024

分形几何的潜力和卷积神经网络对其编码能力的研究

PDF
TL;DR通过研究分形维度如何随测量尺度变化来提供对象复杂性的统计指标，本研究调查了深度模型学习的特征，以及这些深度网络是否能够编码像分形维度这样复杂和高级的特征。研究表明深度网络无法在任何层次中提取这样的特征，而仅操作分形特征的模型在某些应用中的分类任务中可显着提高准确性，且相对于原始数据训练的深度网络而言，所需计算资源较少。
发现论文，激发创造
  • 分形维度不变滤波及其基于 CNN 的实现

    本文提出一种新的分形维数不变滤波（FDIF）方法，利用局部自相似性概念为图像开发局部分形模型，并在各向异性滤波器组后添加非线性后处理步骤，成功地保持了图像局部分形维度不变性，同时，将所提出的滤波方法通过 CNN-based 框架进行了近似重构，提供了一种新的 CNN 图像模型的几何解释。在复杂曲线检测任务中，该方法优于现有方法。

    Mar, 2016

  • 关于分形维数作为泛化度量的局限性

    深度学习中超参数化神经网络的泛化缺口、分形维度、持续同调维度、模型的双下降等方面进行了广泛的研究评估，通过观察发现，残差参数向量的 L2 范数与泛化缺口之间有更强的相关性。该研究为进一步探索分形几何、拓扑数据分析和神经网络优化之间的因果关系奠定了基础。

    Jun, 2024

  • 从特征提取角度的 CNN 逼近分析

    本文利用深层多通道卷积神经网络分析了线性特征提取，展示了深度学习在传统线性变换如傅立叶、小波和冗余字典编码方法之上的优越性，并提出了一种有效的线性特征提取构造方法。同时，研究了采用通道实现深度网络较低的实质维数的函数逼近速率，因子化线性特征为多分辨率卷积的谐波分析在本研究中具有重要作用。此外，文章还构建了一种矩阵的专用向量化，桥接了一维 CNN 和二维 CNN，并允许我们进行相应的二维分析。

    Oct, 2022

  • FractalNet：不含残差连接的超深度神经网络

    本文提出一种基于自相似性的神经网络宏架构设计策略，生成结构准确的被截断的分形的深度网络，并与标准残差网络在 CIFAR 和 ImageNet 分类任务上表现相当好，实验证明残差表示可能不是极深度卷积神经网络成功的基础，而是在训练中能够从有效浅层转变到深层，同时开发的 Drop-path 方法能够规范提取高性能固定深度的子网络。

    May, 2016

  • 衡量 CNN 学习表面统计规律的倾向性

    本研究使用 Fourier 滤波技术构建数据集，并发现深度 CNN 倾向于抓取训练集的 Fourier 图像统计数据，导致出现高泛化差距，从而支持深层 CNN 更倾向于学习数据集的表面统计规律而非高层次的抽象概念。

    Nov, 2017

  • 深度卷积神经网络特征提取的数学理论

    本文提出了一种基于波浪变换、线性非线性映射、平移不变性和形变稳定性的特征提取器，可以适用于不同的网络层，并且在网络深度增加时特征越来越具有平移不变性；同时，本文还建立了对带限函数、卡通函数和 Lipschitz 函数等信号类应用的变形敏感度边界。

    Dec, 2015

  • 卷积网络特征提取行为研究

    该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

    Mar, 2017

  • 使用混合模型 CNN 对图和流形进行几何深度学习

    这篇论文提出了一个以卷积神经网络为基础的统一框架，以推广 CNN 的应用领域到非欧几里得结构的数据，如图形和流形，并且发现这个框架可以在图像、图形和三维形状分析的标准测试中取得更好的性能。

    Nov, 2016

  • 提高分形预训练

    本篇文章提出了一种新的、基于分形图像的优化预训练数据集的方法，该数据集可以在零成本的情况下实现完美的分类准确性，无需存储 / 传输巨大的图像存档，没有隐私 / 族群偏见 / 不当内容的担忧，并且图像有无限的供应和多样性。实验结果表明，利用这种新的预训练任务和基于分形的预训练方法 Fine-tune 网络可以达到 92.7-98.1% 的 ImageNet 预训练网络的准确性。

    Oct, 2021

  • 从流形学习的角度看深度神经网络架构

    本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化，并使用拓扑数据分析和持久性同调分形维数的概念，通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验，为可解释的和可解释的 AI 的发展做出了贡献。

    Jun, 2023