该论文提出了一种称为 Chameleon 的高效神经网络架构设计方法,它能够利用现有的高效网络建立模块,并专注于利用硬件特征和适应计算资源以适应目标延迟和 / 或能量限制。通过一系列准确性和资源(延迟和 / 或能量)预测器,该算法能够在各种约束条件下生成出色的模型架构。
Dec, 2018
通过优化配置选项以提高深度学习推理的准确性和降低网络带宽和 GPU 资源的使用量,本文提出了一种名为 OneAdapt 的方法,通过利用深度神经网络的可微性来快速估计准确度梯度,从而达到三个要求:最小化额外的 GPU 或带宽开销,基于数据对最终深度神经网络的准确性的影响达到接近最优的决策,并在一系列配置选项范围内实现这些目标。与现有技术相比,OneAdapt 在减少带宽和 GPU 使用量方面可达 15-59%,同时准确度保持相当或提高 1-5% 且使用相同或更少的资源。
Oct, 2023
本文提出 NetAdaptV2,通过三项创新工作平衡各个步骤的时间并支持非可微分搜索指标,进而加速神经结构搜索并提高神经网络性能。
Mar, 2021
移动设备上处理视觉数据具有多种应用,但现有的计算机视觉技术通常过于耗电无法部署在资源受限的边缘设备上。本文提出一种新技术,通过引入超参数来动态调整深度神经网络的精确度和能源消耗,无需重新训练即可适应不同边缘应用的硬件约束与精确度要求。该技术称为 AdaptiveActivation,实验证明其在流行的边缘设备上可以达到基准的误差范围内,并且比基准技术所需内存减少了 10% 到 38%,从而提供更多的精确度与效率权衡选项。
Sep, 2023
本文提出了一种自动化的移动神经结构搜索(MNAS)方法,该方法将模型延迟明确地纳入主要目标,以便搜索可以识别满足准确性和延迟之间良好平衡的模型, 实验结果表明,该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型,并且实现了更好的 mAP 质量。
Jul, 2018
本研究采用超参数优化的设计范式,将 CNN 的架构设置视为全局优化的超参数,以解决现有方法中网络处理数据而不是网络架构的局限性,实现了比以往使用 CNN 作为黑匣子更高效省电的图像分类。
Aug, 2018
本论文提出了一种自动网络适应方法,该方法通过迭代的滤波剪枝和网络优化,从 ImageNet 预训练的网络中去除目标任务的潜在冗余,实现紧凑、高效、适应目标任务的网络结构,并在五个实验数据集上表现出了优异的精度和计算效率。
Oct, 2018
通过自适应选取深度神经网络组件或网络进行评估,可以在不损失准确性的情况下,显著减少计算时间,例如在 ImageNet 图像识别挑战中,最多可加速 2.8 倍,并且仅有最高 5 个命中率的轻微损失。
Feb, 2017
本文提出了新的自适应学习人工神经网络的算法 (AdaNet),可以同时自适应地学习网络结构和权重。通过大规模实验,证明该算法在二元分类任务中表现出色,并且与传统方法中得到的神经网络相比具有竞争力的性能准确性。
Jul, 2016
介绍了一种被称为 BottleNet 的新型深度学习架构,能够减小发送至云端的特征大小,并提出一种通过训练进行补偿的方法,从而在减少端到端延迟和移动能耗方面有了显著的改善。
Feb, 2019