面向边缘端的协同多任务神经结构搜索优化稠密预测性能

Oct, 2022

面向边缘端的协同多任务神经结构搜索优化稠密预测性能

Toward Edge-Efficient Dense Predictions with Synergistic Multi-Task Neural Architecture Search

Thanh Vu, Yanqi Zhou, Chunfeng Wen, Yueqi Li, Jan-Michael Frahm

TL;DR该论文提出了一种名为 EDNAS 的新型架构，通过多任务学习（MTL）和硬件感知神经架构搜索（NAS）的联合学习，成功地提高了边缘平台上稠密预测的准确性，并通过提出 JAReD 方法降低了输出噪声，并揭示了最佳架构。

Abstract

In this work, we propose a novel and scalable solution to address the challenges of developing efficient dense predictions on edge platforms. Our first key insight is that multitask learning (MTL) and hardware-aw

multitask learning neural architecture search dense predictions absolute-relative depth loss optimal architectures

发现论文，激发创造

面向 Pareto - 最优设备感知神经网络架构的搜索

本文介绍了神经架构搜索的问题，并调研了最近的研究成果。然后，我们深入探讨了两项对 NAS 进行多目标框架扩展的最新进展：MONAS 和 DPP-Net。MONAS 和 DPP-Net 都能够优化精度和设备带入的其他目标，寻找可以在广泛设备上最好部署的神经架构。实验结果显示，MONAS 和 DPP-Net 找到的架构在各种设备上均达到了 Pareto 最优性。

Aug, 2018

密集预测任务的多任务学习：综述

本文综述了当前深度学习在计算机视觉中的多任务学习领域的最新研究进展，主要关注密集预测任务，从网络架构和优化方法两个角度进行了阐述和总结，旨在探讨多任务共享表示学习的优势和局限性。

Apr, 2020

DCNAS：用于语义图像分割的密集连接神经架构搜索

本研究提出一种名为 Densely Connected NAS (DCNAS) 的神经架构搜索框架，通过连接细胞并使用可学习的权重来引入密集连接的搜索空间，并通过路径和通道级别的抽样策略设计一个融合模块来降低搜索空间的内存消耗。DCNAS 搜索算法得到的体系结构在公共语义图像分割基准测试中的表现显著优于先前算法。

Mar, 2020

搜索时间高效设备约束感知的神经架构搜索

边缘计算旨在使边缘设备（如物联网设备）能够在本地处理数据，而不是依赖云端。本文提出了一种基于 DCA-NAS 的快速神经网络架构搜索方法，该方法结合了边缘设备的约束条件，如模型大小和浮点运算，通过权重共享和通道瓶颈技术加快搜索速度，并发现了具有低推断延迟和最先进性能的特定设备架构。

Jul, 2023

在边缘上的高效深度学习：扩展量化感知的神经架构搜索

使用基于块的 NAS 方法实现在大规模任务上的量化感知 NAS (INT8 和 FB-MP)，并在 Cityscapes 数据集上展示了显著的结果，找到了比 DeepLabV3 (INT8) 模型小 33%， INT8 模型快 17.6% 的 FB-MP 模型，而不影响任务性能。

Jan, 2024

Joint-DetNAS: 使用 NAS、修剪和动态蒸馏提升您的检测器

提出了联合检测 NAS（Joint-DetNAS），是一种用于目标检测的统一 NAS 框架，同时整合了 3 个关键部分：神经架构搜索、剪枝和知识蒸馏，将它们联合优化，实现了高性能的对象检测。

May, 2021

多硬件约束下增强神经架构搜索以在微型物联网设备上部署深度学习模型

提出了一种在单个标准训练时间内将用户定义的内存和延迟约束融入不同 iable NAS 优化方法的新方法，该方法在五个物联网相关基准测试中进行了评估，包括 MLPerf Tiny 套件和 Tiny ImageNet，在仅一次搜索中降低了内存和延迟分别达到 87.4% 和 54.2%，同时保证 TinyML 的最新手动调优深度神经网络的非劣性精度。

Oct, 2023

SqueezeNAS：用于更快语义分割的快速神经架构搜索

本研究采用无代理的硬件感知搜索方法，针对密集的语义分割任务，实现了特定任务和推理硬件上优化的网络，并在 Cityscapes 语义分割数据集上实现了最先进的网络准确度优化，在 NVIDIA AGX Xavier 上实现了低于 100ms 推理时间的 73.62％的类 mIOU，并与最新的最先进架构进行了详细分析。

Aug, 2019

多样任务有效的架构搜索

本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。

Apr, 2022

深度多模态神经架构搜索

本文提出了一种深度多模态神经网络架构搜索（MMnas）框架，通过使用基于梯度的 NAS 算法，可以高效地学习不同任务的最佳架构，并设计了一个统一的编码器 - 解码器骨干网络，其中每个编码器或解码器块对应于从预定义的操作池中搜索出来的操作，以及面向不同多模态学习任务的特定头部。实验结果表明，MMnasNet 在三个多模态学习任务上显着优于现有的最先进方法，包括视觉问答、图像文本匹配和视觉定位。

Apr, 2020