ICMLFeb, 2024

深度连续网络

PDF
TL;DR深度连续网络（DCNs）结合了空间连续滤波器和神经 ODE 的连续深度框架，能够学习滤波器的空间支持以及特征图的持续演化，与生物模型密切相关。DCNs 在标准图像分类和重构问题中具有多功能且广泛适用，可以提高参数和数据效率，并允许元参数化。我们展示了 DCNs 学习的尺度分布的生物合理性，并研究了它们在神经科学启发的模式补全任务中的性能。最后，我们通过改变输入对比度来实现 DCN 的高效实现。
cnnscomputational modelsdeep continuous networksbiological complexityneural odes
发现论文，激发创造
  • 双卷积神经网络

    本文提出了一种新的卷积神经网络模型，称为双卷积神经网络，该模型通过共享权重参数进行优化，在图像分类领域有着显著的性能提升。在 CIFAR-10，CIFAR-100 和 ImageNet 等图像分类基准测试中，该模型的性能均显著优于其他竞争模型。同时，本文还说明了双卷积神经网络在多方面性能均有体现，既可以构建更准确的模型，又可以以牺牲一定准确性的代价来减少模型的内存占用。

    Oct, 2016

  • 扩散卷积神经网络

    介绍一种新的用于处理图结构数据的模型 - 扩散卷积神经网络 (DCNN)，利用扩散卷积操作来学习基于扩散的表示，并在节点分类任务上表现出色。

    Nov, 2015

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • 动态容量网络

    本文介绍了一种名为动态容量网络（DCN）的神经网络，可以通过结合低容量和高容量子网络并运用一种新颖的基于梯度的注意力机制自适应地在不同部分的输入数据中进行容量分配，实现对 Cluttered MNIST 和 SVHN 图像数据集的实证评估表明，相较于传统的卷积神经网络，DCN 可以显著降低计算数量，同时保持相似甚至更好的性能。

    Nov, 2015

  • 深度网络在不变物体识别中类似于人类前馈视觉

    研究了深度卷积神经网络在视角变化下物体识别任务中的表现，发现在视角变化较小时，浅层网络可以优于深层网络和人类表现。但是，当面临较大的视角变化时，需要更深的层次来匹配人类表现。最深的 18 层卷积神经网络在最高变化水平下优于人类表现，使用了最类人的表征。

    Aug, 2015

  • 利用生物神经元属性的卷积神经网络

    通过结合生物神经元原理，使用基于神经科学的计算模型来增强训练效率和提高准确性，以推动组合感受野模型作为卷积神经网络的基础层，从而在 CIFAR-10、CIFAR-100 和 ImageNet-100 数据集上实现性能显著提升（平均提升 5%-10%）

    Nov, 2023

  • 连续深度神经网络

    通过将连续动力学系统嵌入高阶数值积分方案中，我们构造了一种连续的深度神经网络框架 ——ContinuousNet，其具有与时间步长大小无关的层次独立性和增量深度训练方法，实现了在保持准确性的同时加快推断速度。

    Aug, 2020

  • 深度卷积神经网络分析的改进

    本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

    Apr, 2016

  • DCNN: 双交流深度神经网络的实现与微观对象识别的交互式深度学习判别器

    通过结合卷积操作和自注意机制的优势构建了新型双通道神经网络模型（DCNN），用于改进细粒度图像分类的准确性。实验证明，将 DCNN 作为骨干网络用于分类特定的细粒度基准数据集，在性能上相较于其他先进的卷积或注意力细粒度骨干网络，分别获得了 13.5％-19.5％和 2.2％-12.9％的性能优势改进。

    May, 2024

  • Gabor 卷积网络

    该论文介绍了一个新的深度学习模型，称为 Gabor 卷积网络（GCNs），它将 Gabor 滤波器结合到深度卷积神经网络（DCNNs）中以增强对方向和尺度变换的抵抗力，并实现了在对象识别中的超大类能力，并减少网络参数。

    May, 2017