Feb, 2023

增强 Once-For-All：关于并行块、跳跃连接和早期退出的研究

PDF
TL;DR本文提出 OFAv2，它是 Once-For-All 算法的改进版，它通过包括早期退出、并行块和密集跳连接来改进体系结构，并扩展了训练过程，引入了 Elastic Level 和 Elastic Height 两个新阶段。此外，本文提出适用于多输出网络的新型知识蒸馏技术，并提出了动态教师网络选择的新策略。这些修改使得 OFAv2 在 Tiny ImageNet 数据集上的准确性能比 OFA 原始版本提高了高达 12.07％，同时仍然保持算法的灵活性和优势。
neural architecture searchonce-for-allofav2early exitsknowledge distillation
发现论文，激发创造
  • OFA$^2$: 一种多目标视角下的通用神经结构搜索方法

    该研究介绍了 Once-for-All（OFA）神经架构搜索（NAS）框架，利用多目标优化算法在 OFA 神经网络的基础上搜索高效的神经架构，并生成一个 Pareto 前沿，以指导 NAS 决策。

    Mar, 2023

  • Once-for-All: 训练一个网络并为其专门优化以实现高效部署

    我们提出了一种基于一次训练（OFA）网络的方法，通过将训练和搜索分离，支持多种网络结构并可以快速选择以减少计算成本。使用渐进式缩减算法进行高效训练，在各种边缘设备上具有优异的表现和更少的能源成本，赢得了 Low Power Computer Vision Challenge 的胜利。

    Aug, 2019

  • 神经结构迁移 2：提高多目标神经结构搜索效率的范式

    本文提出了 NATv2，它是一种改进的神经结构搜索算法，能够改善超网络结构的生成和抽取子网络的性能，并引入精调的后处理流水线，成功地提高了 NAT 的质量，因此在使用最少的参数研究高性能结构时是高度推荐的。

    Jul, 2023

  • CompOFA: 多用一网络复合架构加速跨平台部署

    该研究提出了一个名为 CompOFA 的设计空间，基于复合关系的模型维度来约束最优的模型配置，实现了在保证 Pareto 优化的情况下，相较于现有技术，减少了 2 倍的训练时间和 216 倍的模型搜索 / 提取时间。

    Apr, 2021

  • Dynamic-OFA: 面向异构嵌入式平台的运行时 DNN 架构切换以实现性能扩展

    本研究论文探讨了动态深度神经网络在不同运行环境下实现快速性能的问题，并提出了一种新的动态 DNN 方法 Dynamic-OFA，该方法通过预先采样 OFA 模型中的子网，配合运行时管理器在不同的运行环境中选择不同的子网来实现。在实验中，使用 ImageNet 数据集验证了该方法的性能表现，相比已有方法，Dynamic-OFA 在 Jetson Xavier NX 上可以实现最高 3.5x 的 CPU 速度和 2.4x 的 GPU 速度提升，并相应地实现 3.8％的 CPU 精度和 5.1％的 GPU 精度提升。

    May, 2021

  • OFA: 通过一个简单的序列到序列学习框架统一架构、任务和模态

    本文提出一种支持任务综合性的任务不可知和模态不可知框架 OFA，用于统一多模态预训练。OFA 在仅使用 2000 万个公开可用的图像 - 文本对进行预训练情况下，在一系列交叉模态任务上实现了新的 SOTAs，并在单模态任务上取得了高竞争性能。同时，OFA 还可以有效地转移到看不见的任务和领域中。

    Feb, 2022

  • 准确性与效率：通过 FPGA-Aware 神经架构搜索实现双赢

    本文提出了一种新的硬件感知的神经架构搜索框架，名为 FNAS，使用 Field Programmable Gate Arrays 作为车辆，通过性能抽象模型对神经架构进行快速剪枝，以保证满足实现规范的延迟，并在精度下降少于 1% 的情况下快速搜索到有效的架构。

    Jan, 2019

  • PONAS: 面向高效部署的渐进式单次神经架构搜索

    通过一种表格构建技术，PONAS 基于进步式神经架构搜索（NAS）和一次性 NAS 方法相结合，以非常高效的方式设计符合不同硬件约束的神经网络架构，实验中 ImageNet 分类任务的 top-1 精度达到了 75.2%。

    Mar, 2020

  • 一次搜索即可：通过直接稀疏优化进行单射神经架构搜索

    该论文提出了一种名为 DSO-NAS 的神经架构搜索方法，采用基于稀疏正则化的模型修剪视角，利用逐步引入稀疏网络的方法来解决搜索空间庞大且不连续的问题，在 CIFAR-10 数据集上达到了 2.84％的平均测试误差，在 ImageNet 数据集上，仅使用 8 块 GPU 600M FLOPs 进行 18 小时的训练可以达到 25.4％的测试误差。

    Nov, 2018

  • FLASH：具有硬件优化的快速神经架构搜索

    FLASH 是一种快速的神经架构搜索方法，它在真实硬件平台上协同优化 DNN 的准确性和性能，并且该算法比现有最先进的方法具有超过四个数量级的加速，在嵌入式设备上，搜索时间不到 3 秒。

    Aug, 2021