Nov, 2018

利用酉群卷积构建高效的深度神经网络

PDF
TL;DR本研究提出了一种名为 unitary group convolutions（UGConvs）的 CNN 构建块，它将群卷积和特征空间中的酉变换组合起来，以学习比单独使用群卷积更丰富的表示。我们通过实验表明，密集的酉变换可以提高深度神经网络精度，同时，不同的密集变换具有相当的准确性表现。基于这些观察结果，我们提出了 HadaNet，它是使用 Hadamard 变换的 UGConv 网络，其计算复杂度低于循环卷积网络，且精度比 ShuffleNets 更高。
unitary group convolutionscnnsfeature spacehadanetdense transforms
发现论文，激发创造
  • CondenseNet：使用学习群卷积的高效 DenseNet

    本文介绍了一种名为 CondenseNet 的新型神经网络体系结构，其使用学习组卷积方法实现了稠密连接，移除了那些无用的连接，并使得此模型比类似 MobileNets 和 ShuffleNets 的最先进紧凑卷积网络更为高效。

    Nov, 2017

  • 深度神经网络的交错分组卷积

    本文介绍了名为交织组卷积神经网络（IGCNets）的简单和模块化神经网络架构，讨论了其在提高计算效率方面的优势，并通过对标准基准测试的实证结果证明其更有效地利用参数和计算复杂度。

    Jul, 2017

  • 利用哈达玛积方法实现低能耗的卷积神经网络（CNN）

    该研究论文提出基于 Hadamard 方法的物体识别，以减少卷积层的能源消耗，在 MNIST 数据集上与卷积方法表现相似，而在 CIFAR10 数据集上由于数据复杂性和多通道性能下降，该方法可应用于其他计算机视觉任务，当卷积层的内核大小小于输入图像大小时。

    Sep, 2022

  • 群等变卷积网络

    介绍了一种新型卷积神经网络，称为 Group equivariant Convolutional Neural Networks (G-CNNs)，它通过利用对称性降低样本复杂度，使用新型层 G-convolutions，增加网络的表达能力，且易于使用和实现。 G-CNNs 在 CIFAR10 和旋转的 MNIST 上实现了最先进的结果。

    Feb, 2016

  • 可分组卷积神经网络实现可微学习通道分组

    本文介绍了一种名为 Groupable ConvNet (GroupNet) 的新型网络，通过新型的动态分组卷积（DGConv）操作学习端到端的组数，达到了优于传统 ResNet 和 ResNeXt 的准确性和计算复杂度。该方法具有统一的卷积表示，可执行许多现有卷积操作，是一个可微和灵活的操作，可以从训练数据中学习执行各种卷积操作。

    Aug, 2019

  • HetConv: 基于异构内核的卷积神经网络

    通过使用异构卷积内核，我们提出了一种新颖的深度学习架构，在减少计算量和参数数量的同时保持代表性效率，实现了在 VGG 和 ResNet 等 CNN 架构中 3 到 8 倍 FLOPs 的速度提升，并与组 / 深度卷积进行比较，证明其具有更高的准确性和更多的 FLOPs 减少。

    Mar, 2019

  • 基于 Hadamard 变换的混合量子经典方法用于卷积层

    本文提出了一种基于 Hadamard 变换的 HT-perceptron 层，用于混合量子经典计算，相较于常规的 Conv2D 层，在 MNIST 和 ImageNet-1K 数据集上分别减少了 57.1% 和 12.6% 的 MACs 且精度有所提升。

    May, 2023

  • 动态组卷积用于加速卷积神经网络

    本文提出一种动态组卷积 (Dynamic Group Convolution, DGC) 方法，它不仅保留了原有网络结构，还能够根据输入图像动态选择连接哪些输入通道，以实现对图像语义特征的自适应提取，有效提高了卷积神经网络的计算效率和图像分类性能。

    Jul, 2020

  • HadaNets: 神经网络的灵活量化策略

    该研究论文介绍了一种名为 HadaNets 的新型神经网络模型，可以在不占用太多内存和训练时间的情况下有效地训练和推理深度神经网络，同时具有优秀的模型压缩性能。

    May, 2019

  • 主动卷积：学习卷积形状进行图像分类

    该论文提出了一种名为 ACU 的卷积单元，其形状可以通过反向传递的方式学习，具有比传统卷积单元更大的灵活性和更好的性能，可用于各种数据集和架构。

    Mar, 2017