Jul, 2022

HorNet: 递归门控卷积实现高阶空间交互效率化

PDF
TL;DR本文提出一种名为 'Recursive Gated Convolution' 的新的可编程高效的卷积操作，它结合了 Vision Transformers 和 CNNs 的优点并能够优化视觉数据的编码和解码，引入这个操作到 HorNet 中能够提高大规模视觉识别、目标检测和图像分割任务的性能。
发现论文，激发创造
  • 高效多阶门控聚合网络

    本文提出了一种新型的纯 ConvNet 架构，即 MogaNet，该架构通过游戏论反映了不同尺度的情境下变量之间的相互作用效应，采用深度卷积优化了空间和通道空间的中阶信息，从而在 ImageNet 等多种典型视觉基准上取得了与最先进模型相当的效果，并以更高的效率使用参数。

    Nov, 2022

  • 全局二阶池化卷积网络

    本文针对在深度卷积网络较早的层次有效引入二阶表示进行非线性建模的问题，提出了一种新的网络模型，并利用全局二阶池化 (GSoP) 对低到高层次进行二阶表示引入，使图像信息得到全面利用，实验结果表明，在 ImageNet-1K 数据集上，该网络模型优于同类网络，具有最先进的结果。

    Nov, 2018

  • 使用水平门循环单元学习长距空间依赖

    使用水平门控循环单元层，可以取得与甚至优于当前最先进的深度学习结构相当的效果，在长空间范围内检测相互依赖的视觉特征上表现出色。

    May, 2018

  • CoordGate: 在卷积神经网络中高效地计算空间变化卷积

    Optical imaging systems often face limitations in resolution due to the point spread function, but CoordGate, a lightweight module using a multiplicative gate and coordinate encoding network, offers an efficient solution for spatially-varying convolutions in CNNs, outperforming conventional approaches in image deblurring.

    Jan, 2024

  • 用于空间交互建模的卷积

    本文研究用于预测自动驾驶汽车周围参与者运动的空间交互建模问题，并考虑代替 GNN 的解决方案。该研究发现，2D 卷积可以比 GNN 更低延迟地模拟空间交互，并提出一种新的交互损失以进一步改善所考虑的方法的交互建模。

    Apr, 2021

  • 全息全球卷积网络用于恶意软件检测中的长距离预测任务

    我们提出了一种新的全局卷积网络方法，利用全息降维表示（HRR）来编码和解码序列元素的特征，并且在微软恶意软件分类挑战、Drebin 和 EMBER 恶意软件基准测试中取得了最新的研究成果，时间复杂度高效。

    Mar, 2024

  • 超图卷积和超图注意力

    该研究引入了两个可端到端训练的操作符，在超图卷积和超图注意机制方面，以在高阶关系的图结构数据上有效地学习深度嵌入，并在半监督节点分类方面展示了其有效性。

    Jan, 2019

  • 动态卷积：利用空间稀疏性加速推理

    本文提出了一种基于条件输入图像的动态卷积方法，其中通过引入一个小型门控分支来学习空间位置，以决定应该对哪些区域进行评估，通过在 CIFAR、ImageNet 和 MPII 数据集上的实验证明该方法在处理人体姿态估计等空间稀疏任务方面，相对已有方法具有更好的准确性和处理效率。

    Dec, 2019

  • 异构网格卷积：适应性、高效性和可控计算

    通过生成一种数据自适应的图形结构并利用方向感知图形卷积，本文提出了一种新型的异构网络卷积模型，并在四个图像理解任务上进行了评估。

    Apr, 2021

  • 利用酉群卷积构建高效的深度神经网络

    本研究提出了一种名为 unitary group convolutions（UGConvs）的 CNN 构建块，它将群卷积和特征空间中的酉变换组合起来，以学习比单独使用群卷积更丰富的表示。我们通过实验表明，密集的酉变换可以提高深度神经网络精度，同时，不同的密集变换具有相当的准确性表现。基于这些观察结果，我们提出了 HadaNet，它是使用 Hadamard 变换的 UGConv 网络，其计算复杂度低于循环卷积网络，且精度比 ShuffleNets 更高。

    Nov, 2018