ELASTIC: 通过动态缩放策略提高CNNs的性能
本文介绍了一种基于Multi-task Network Cascades的实例感知语义分割模型,该模型包含三个网络,分别用于区分实例、估算掩模和分类物体。该方法在PASCAL VOC数据集上达到了最先进的实例感知语义分割准确度,并且速度比之前的系统快两个数量级。
Dec, 2015
该论文研究了在测试时具有计算资源限制的图像分类问题,并通过训练多个带有不同资源需求的分类器并将其作为早期退出引入单个深度卷积神经网络中以最大程度地重用计算,实现了在任意时间进行预测和分配不同的计算量来分类一组样本,框架显著改善了现有技术在两种情况下的表现。
Mar, 2017
本文提出了一种深度网络AnchorNet,它通过一组过滤器产生了对物体结构的信息,从而在语义匹配方面取得了令人满意的结果,尤其在不同实例和不同物体类别之间的匹配方面。
Apr, 2017
本文系统研究了模型的缩放并提出了一种基于网络深度、宽度和分辨率的平衡方法,进而使用神经架构搜索设计了一种新的基线网络并扩展成一系列模型,称为EfficientNets,这些EfficientNets在多项测试中取得了更好的准确性和效率,包括在ImageNet数据集上达到了84.3%的top-1准确率,在成为当前最佳的ConvNet的推理速度比其快6.1倍、参数更少的情况下,这是一个领先的结果。
May, 2019
本文提出一种用于多任务学习的实例动态网络模型选择方法,该方法基于一个精简而准确的主干架构为每个任务的实例提供多个不同配置的层级结构网络模型进行估计,并利用选择器从候选模型池中动态地选择最佳模型。实验结果表明该方法具有出色的性能,并可以在多个任务中实现按实例选择模型的功能。
Sep, 2019
本文重新研究了经典的ResNet模型,并重点讨论了模型架构、训练方法和扩展策略对模型性能的影响。作者发现,训练方法和扩展策略可能比模型架构的变化更重要,同时作者提出了两种新的扩展策略,并设计了一系列ResNet架构。实验结果表明,这些简单修改的ResNet模型比EfficientNet更快,且在ImageNet上达到了类似的准确性,同时在半监督学习和下游任务转移学习上也有显著提升。
Mar, 2021
本文介绍了一种名为Vision MoE的稀疏版本的Vision Transformer,在图像识别方面表现出色且需要的计算量较少。此外,本文还提出了一种路由算法的扩展来优化每个输入的处理,最终通过训练一个达到153亿参数的模型,V-MoE成功实现了高度可扩展的视觉建模。
Jun, 2021
本篇文章提出了一种新的、基于分形图像的优化预训练数据集的方法,该数据集可以在零成本的情况下实现完美的分类准确性,无需存储/传输巨大的图像存档,没有隐私/族群偏见/不当内容的担忧,并且图像有无限的供应和多样性。实验结果表明,利用这种新的预训练任务和基于分形的预训练方法Fine-tune网络可以达到92.7-98.1%的ImageNet预训练网络的准确性。
Oct, 2021
本文介绍了一种新的超网络策略可以用来快速生成卷积神经网络,从而用于处理图像分割任务,在尽可能地保证准确性的前提下提高计算效率,并成功展现了各种域的价值。
Apr, 2023
在这项工作中,我们基于中心核对齐(CKA)分析对卷积神经网络(CNNs)的模型进行了全面的分层调查,结果表明较低的层对输入图像尺度变化更敏感。在此基础上,我们提出了多尺度统一网络(MUSN),由多尺度子网络、一个统一网络和尺度不变约束组成,以获得从多尺度输入中提取特征的能力,并将低级特征在深层进行统一,提取高层语义特征。大量在ImageNet和其他尺度多样的数据集上进行的实验表明,MUSN在模型性能和计算效率方面取得了显著的改进。特别是在多尺度情景下,MUSN的准确率提高了44.53%,FLOPs降低了7.01-16.13%。
Mar, 2024