深度卷积神经网络中的能量传播

Apr, 2017

Energy Propagation in Deep Convolutional Neural Networks

Thomas Wiatowski, Philipp Grohs, Helmut Bölcskei

TL;DR本文研究深度卷积神经网络的能量保存特性及特征图能量衰减速率，特别是在使用小波和 Weyl-Heisenberg 滤波器的广泛情况下，破坏性和具有高通通带条件的滤波器能够以至少多项式速率衰减。

Abstract

Many practical machine learning tasks employ very deep convolutional neural networks. Such large depths pose formidable computational challenges in training and operating the network. It is therefore important to understand how fast the energy contained in the propagated signals (a.k.a. feature maps) decays across layers. In addition, it is desirable that th

deep convolutional neural networks energy conservation feature map energy decay rates scattering networks wavelets

发现论文，激发创造

散射卷积网络中的能量传播可以任意缓慢

我们分析应用于特征提取的深度卷积神经网络，如 Mallat 的小波散射变换中的能量衰减。我们的主要结果允许证明，在任意维度的小波散射中，泛型平方可积信号的散射变换的能量衰减可以是任意缓慢的。同时，我们得出积极的结果，允许得出与底层滤波器的频率局部化相适应的广义 Sobolev 空间的快速（指数级）能量衰减。负面和积极的结果都强调了散射网络中的能量衰减严重依赖于信号的频率局部化和所使用的滤波器之间的相互作用。

Jun, 2024

深度卷积神经网络特征提取的数学理论

本文提出了一种基于波浪变换、线性非线性映射、平移不变性和形变稳定性的特征提取器，可以适用于不同的网络层，并且在网络深度增加时特征越来越具有平移不变性；同时，本文还建立了对带限函数、卡通函数和 Lipschitz 函数等信号类应用的变形敏感度边界。

Dec, 2015

通过能量耗散控制神经网络

使用能量耗散网络在深度学习中提出了迭代计算下降方向以实现图像重构、特别是对噪声图像进行去模糊，超分辨率和医学图像中来实现。经实验证明，它可以控制网络在推断时遵循数据形成模型，并且它在单幅图像超分辨率和计算机成像重构上取得了良好效果，并进一步扩展到凸可行性问题。

Apr, 2019

基于半离散框架的深度卷积神经网络

本文通过允许不同并且通用的半离散框架在不同的网络层中，进一步发展 Mallat 的理论，证明了广泛类别的特征提取器的平移不变性，并为比 Mallat 考虑的更大类别的变形稳定结果发展了结果。

Apr, 2015

随机滤波器组的能量保持和稳定性

波形为基础的深度学习为何如此困难？尽管有很多尝试去训练卷积神经网络 (convnets) 进行滤波器设计，但它们通常无法胜过手工制作的基准线。本文从随机卷积算子的数学角度详细论述了简单卷积神经网络的统计性质。我们发现，具有随机高斯权重的有限脉冲响应 (FIR) 滤波器对于大滤波器和局部周期性输入信号是病态的，而这两者在音频信号处理应用中很常见。此外，我们观察到随机滤波器组的期望能量保持并不足以确保数值稳定性，并为其期望帧界导出了理论上的限制。

Sep, 2023

使用能量感知剪枝设计高能效卷积神经网络

本研究提出了一种新的基于能量消耗估计的卷积神经网络 (CNNs) 剪枝算法，该算法比以前的算法更加激进，并具有更高的准确性，AlexNet 和 GoogLeNet 的能量消耗分别降低了 3.7x 和 1.6x，用于降低卷积神经网络在移动设备上的能量消耗的新工具和模型都可在链接网站上找到。

Nov, 2016

不变散射卷积网络

利用小波散射网络对静态过程进行表示，获得更高阶矩并可用于区分具有相同傅立叶功率谱的纹理，对于手写数字和纹理判别任务取得了最先进的分类结果。

Mar, 2012

NeuralPower: 预测和部署高效卷积神经网络

本研究提出基于稀疏多项式回归的逐层预测框架 NeuralPower，以准确预测在任何 GPU 平台上部署的卷积神经网络的能耗和运行时间。同时，我们还提出了 “能耗 - 精度比”（EPR）指标，以帮助机器学习者选择更能平衡能耗和预测准确度的 CNN 架构。实验结果表明，该框架可以提高预测精度高达 68.5％，且可以在不同 GPU 平台和深度学习软件工具上得到验证。

Oct, 2017

卷积网络特征提取行为研究

该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

Mar, 2017

离散深度特征提取：理论与新架构

本文针对离散情况，引入新的卷积神经网络结构，并为其分析提出了数学框架，具体包括局部和全局的变形与平移敏感结果，以及研究输入信号的某些结构性质在相应特征向量中的反映，理论适用于一般的滤波器和 Lipschitz 连续的非线性和池化运算符，并通过手写数字分类和面部关键点检测的实验结果对理论研究进行了补充。

May, 2016