- XNOR-Net++: 二值神经网络的改进
本文提出了一种改进的训练算法,用于针对二元神经网络的权重和激活二进制数的训练,提出了一种新的比 XNOR-Net 更优的方法,通过反向传播学习判别式融合激活和权重缩放因子。实验表明,与分析计算的结果相比,我们的方法更加准确,且在相同的计算预 - MixConv: 混合深度可分离卷积核
本文系统地研究了不同核大小的影响,提出了一种新的混合深度卷积(MixConv),将多个核大小自然混合在单个卷积中,为现有的 MobileNets 在 ImageNet 分类和 COCO 目标检测中提高了准确性和效率。
- ICML使卷积网络再次具有平移不变性
本篇研究提出,在现代卷积网络中添加抗锯齿模块能较好地提高模型的精度,使其具有更好的普适性和鲁棒性。
- AutoSlim:一种用于通道数量一次性架构搜索的方法
该研究提出了一种名为 AutoSlim 的单次解决方案,通过单轮迭代评估训练后的可裁剪模型并贪心地裁剪使准确度下降最小的层来获得不同资源限制下的优化通道配置,从而在 ImageNet 分类等任务中取得显著的性能提升。
- 元架构搜索
本文提出了基于贝叶斯元学习的 (Meta Architecture Search) 方法,用于加速大量任务的体系结构搜索,通过学习适用于整个任务集的任务不可知表达式,实现对 NAS 的大规模高效搜索,减少计算成本,并在 Imagenet 分 - ICLR可压缩神经网络
本文介绍了一种简单通用的方法去训练单个神经网络的可执行不同宽度(即层中通道的数量),从而允许在运行时进行即时和自适应的准确性和效率权衡。基于共享网络的可切换批量归一化,可以在不同的宽度配置下进行训练,并可根据实时运行结果和资源限制在多个应用 - 基于部分卷积的填充
本文提出一种简单但有效的填充方案作为现有卷积神经网络的模块,我们将其称为基于部分卷积的填充,具有在卷积操作中根据填充区域和卷积滑动窗口面积的比率重新加权的功能,在 Imagenet 分类和语义分割测试中表现出比标准零填充更好的准确性。
- ICLR动态通道修剪:特征增强与抑制
通过 feature boosting and suppression(FBS)方法预测性增强显著卷积通道及跳过不重要通道,动态运行时省略无关重要的输入或输出通道的卷积神经网络(CNN),并在 ImageNet 分类任务中取得了大幅提升。
- 为高效嵌入式推断发现接近全精度网络的低精度网络
通过调整激活函数范围并使用精细调整的预训练模型来组合简单技术,可以发现与 fp32 模型接近的低精度模型,同时提高了效率,本文证明了 4 位精度足以进行分类。
- ECCV通过可扩展的邻域分量分析改善泛化能力
采用深度神经网络来学习视觉特征,通过非参数优化方法而非参数 etric 分类器进行可视化识别,并在针对少数代表性例子的分类和子类别发现方面提供了更具有普遍适用性的特征表示。
- 级联预测模型的近似算法
本文介绍了一种近似算法,将一组预训练模型作为输入,并生成一个具有类似准确度但平均成本较低的级联模型,应用于最先进的 ImageNet 分类模型,可将浮点乘法降低达 2 倍,并将平均情况下的内存 I / O 降低达 6 倍。自动生成的级联呈现 - CVPR网络草图:在深度 CNN 中利用二进制结构
本文提出使用网络草图技术进行张量扩展从而生成二值化 CNN 网络,并且在 ImageNet 分类任务上取得了比现有模型更高的准确率。
- MobileNets:面向移动视觉应用的高效卷积神经网络
本文介绍了 MobileNets 这一基于深度可分离卷积的轻量级深度神经网络架构,提出了利用全局超参数在时延和准确性之间平衡的方法,并在图像分类等多个领域进行了广泛实验。
- 多重残差网络:提高残差网络的速度和准确性
本文提出了一种新的卷积神经网络架构,该架构通过扩展残差网络的层数,明确利用非常深网络的集成表现,并使模型变宽而不是更深,从而显著提高了准确性。受多元残差网络的并行结构启发,本研究还探讨了一种模型并行技术,该技术使残差块的计算分布在处理器之间 - 深度神经网络模型在实践应用中的分析
本文对深度神经网络在计算机视觉领域中的重要应用指标进行全面分析,发现能耗与批次大小和架构无关,准确度和推断时间在双曲线关系中,能源约束是最大可实现准确度和模型复杂度的上限,操作次数是推断时间的可靠估计。
- Inception-v4,Inception-ResNet 和残差连接对学习的影响
本研究发现在 Inception 网络中加入残差连接有助于加速训练并提高图像识别性能,同时还提出了几种优化的网络结构,实验结果在 ILSVRC 2012 分类任务中取得了显著的性能提升。