该研究引入了一种新的专家生成方法，它通过将顺序处理通用低级特征与高级特征的并行和嵌套结合起来的新的分层分类网络拓扑结构，实现了动态降低任务和计算复杂度的能力。该方法在资源受限条件下能够选择只有任务相关类别的高级特征，可以显著减少推理成本，对于轻量级和可适应性的网络设计具有前瞻性意义。在动态推理方面，我们的方法可以排除高达 88.7% 的参数和 73.4% 的 GMAC 操作，与比较基准相比，在所评估的案例中，平均减少了 47.6% 的参数和 5.8% 的 GMAC 操作。

Mar, 2024

本文提出了一种统一且普遍的方案，即关注特征融合，它适用于大多数常见场景，包括通过短跳线和长跳线引起的特征融合以及在 Inception 层内部的特征融合。通过多尺度通道关注模块来更好地融合不一致的语义和尺度的特征，并通过迭代关注特征融合来缓解特征地图的初始集成成为瓶颈的问题，我们的模型在 CIFAR-100 和 ImageNet 数据集上均优于最先进的网络，并表明特征融合的更复杂的关注机制具有持续提供比直接特征融合更好地结果的巨大潜力。

Sep, 2020

使用卷积神经网络进行非监督学习，提取图像中的高级特征，并取得了针对 20,000 个物体类别的显著优化结果。

Dec, 2011

本文提出了使用轻量级的特征提取层来提高图神经网络模型的效率，从而能够在移动设备上高效地运行，同时实现了一定的性能提升和资源消耗降低。

Aug, 2021

使用基于深度学习的方法，通过对图像的激活进行建模，可以揭示大脑视觉区域中神经元的选择性和共享特征，进而理解为什么一些物体图像会激发这些神经元的反应。

May, 2024

本文提出了一种新的 CNN 设计方法，旨在通过对 CNN 架构和训练过程的综合干预来减少总推理计算量，通过引入一种新的结构元素作为附加组件到任何现代 CNN 架构中，系统地提出了一种数据驱动的开发 CNN 的公式，旨在实时改变大小和形式，从而使计算占用更小。最佳实现的结果表明了在几个现代高端移动计算平台上的显著加速。

Jan, 2017

该研究提出了一个名为 GCPANet 的新网络，采用一些渐进式的、上下文感知的特征交织聚合 (FIA) 模块有效地整合低层外观特征、高层语义特征和全局上下文特征，并通过监督学习生成显着性图像。此外，还设计了一个头部注意力 (HA) 模块、一个自我细化 (SR) 模块和一个全局上下文流 (GCF) 模块，以进一步提高网络性能。实验结果表明，该方法在六个基准数据集上的表现比现有方法都要好。

Mar, 2020

本文提出利用稀疏子网络以优化内存利用和通信的方法来加速深度学习中的数据和层间并行算法，并将其融入 AxoNN，实验证明在 512 NVIDIA V100 GPU 上，相比于 AxoNN，DeepSpeed-3D 和 Sputnik，优化后的模型内存消耗减少了 74％，总通信时间减少了 40％，从而提供了 34％的总体加速。

Feb, 2023

本文提出了一个新的序列特征学习方法，Glance and Focus Network（GFNet），用于图像识别问题中的减少空间冗余和时间复杂度的优化，GFNet 采用类似人类视觉系统的粗到细的学习方式处理图像，并通过强化学习的方式定位图像中的显著区域，从而避免了手动标注的需求。实验表明，GFNet 能够大幅度降低 MobileNet-V3 在 iPhone XS Max 上的平均延迟 (1.3x)，而精度没有任何损失。

Jan, 2022

本文介绍了一种基于超级特征的深度图像检索架构，只需要图像标签即可训练。超级特征由迭代的注意模块构建，通过对 Super-features 实施对比损失来匹配图像。与局部特征相比，这种方法在存储空间方面具有显着优势，并在常见地标检索基准上表现出比现有方法更好的效果。

Jan, 2022