CompOFA: 多用一网络复合架构加速跨平台部署
我们提出了一种基于一次训练（OFA）网络的方法，通过将训练和搜索分离，支持多种网络结构并可以快速选择以减少计算成本。使用渐进式缩减算法进行高效训练，在各种边缘设备上具有优异的表现和更少的能源成本，赢得了 Low Power Computer Vision Challenge 的胜利。
Aug, 2019
该研究介绍了 Once-for-All（OFA）神经架构搜索（NAS）框架，利用多目标优化算法在 OFA 神经网络的基础上搜索高效的神经架构，并生成一个 Pareto 前沿，以指导 NAS 决策。
Mar, 2023
本研究论文探讨了动态深度神经网络在不同运行环境下实现快速性能的问题，并提出了一种新的动态 DNN 方法 Dynamic-OFA，该方法通过预先采样 OFA 模型中的子网，配合运行时管理器在不同的运行环境中选择不同的子网来实现。在实验中，使用 ImageNet 数据集验证了该方法的性能表现，相比已有方法，Dynamic-OFA 在 Jetson Xavier NX 上可以实现最高 3.5x 的 CPU 速度和 2.4x 的 GPU 速度提升，并相应地实现 3.8％的 CPU 精度和 5.1％的 GPU 精度提升。
May, 2021
本文提出 OFAv2，它是 Once-For-All 算法的改进版，它通过包括早期退出、并行块和密集跳连接来改进体系结构，并扩展了训练过程，引入了 Elastic Level 和 Elastic Height 两个新阶段。此外，本文提出适用于多输出网络的新型知识蒸馏技术，并提出了动态教师网络选择的新策略。这些修改使得 OFAv2 在 Tiny ImageNet 数据集上的准确性能比 OFA 原始版本提高了高达 12.07％，同时仍然保持算法的灵活性和优势。
Feb, 2023
本文提出一种支持任务综合性的任务不可知和模态不可知框架 OFA，用于统一多模态预训练。OFA 在仅使用 2000 万个公开可用的图像 - 文本对进行预训练情况下，在一系列交叉模态任务上实现了新的 SOTAs，并在单模态任务上取得了高竞争性能。同时，OFA 还可以有效地转移到看不见的任务和领域中。
Feb, 2022
通过引入文本属性图和节点感兴趣的概念以及新颖的图提示范式，我们提出了全称为 One for All (OFA) 的通用框架，使得单个图模型能够处理多样的图学习任务，并在不同的领域表现出色。
Sep, 2023
该研究提出一种名为 Once-For-All (OFA) 的方法，使用逐步缩小（PS）的方法来训练子网口。他们发现在小的到中等大小的数据集上，没有足够的证据支持对抗干扰的缓解策略的必要性，并且利用名为 Random Subnet Sampling (RSS) 的方法可以比 PS 更好地产生子网口，同时高达 1.9x 的训练时间降低。
Apr, 2022
本文提出了 NATv2，它是一种改进的神经结构搜索算法，能够改善超网络结构的生成和抽取子网络的性能，并引入精调的后处理流水线，成功地提高了 NAT 的质量，因此在使用最少的参数研究高性能结构时是高度推荐的。
Jul, 2023
通过一种表格构建技术，PONAS 基于进步式神经架构搜索（NAS）和一次性 NAS 方法相结合，以非常高效的方式设计符合不同硬件约束的神经网络架构，实验中 ImageNet 分类任务的 top-1 精度达到了 75.2%。
Mar, 2020