本文提出 OFAv2，它是 Once-For-All 算法的改进版，它通过包括早期退出、并行块和密集跳连接来改进体系结构，并扩展了训练过程，引入了 Elastic Level 和 Elastic Height 两个新阶段。此外，本文提出适用于多输出网络的新型知识蒸馏技术，并提出了动态教师网络选择的新策略。这些修改使得 OFAv2 在 Tiny ImageNet 数据集上的准确性能比 OFA 原始版本提高了高达 12.07％，同时仍然保持算法的灵活性和优势。

Feb, 2023

本文提出了 NATv2，它是一种改进的神经结构搜索算法，能够改善超网络结构的生成和抽取子网络的性能，并引入精调的后处理流水线，成功地提高了 NAT 的质量，因此在使用最少的参数研究高性能结构时是高度推荐的。

Jul, 2023

我们提出了一种基于一次训练（OFA）网络的方法，通过将训练和搜索分离，支持多种网络结构并可以快速选择以减少计算成本。使用渐进式缩减算法进行高效训练，在各种边缘设备上具有优异的表现和更少的能源成本，赢得了 Low Power Computer Vision Challenge 的胜利。

Aug, 2019

该研究提出了一个名为 CompOFA 的设计空间，基于复合关系的模型维度来约束最优的模型配置，实现了在保证 Pareto 优化的情况下，相较于现有技术，减少了 2 倍的训练时间和 216 倍的模型搜索 / 提取时间。

Apr, 2021

我们提出了一种新的神经架构搜索算法，通过超网络对设备和多个目标进行参数化和条件化，实现了性能和硬件度量之间的权衡，并在一次搜索中获得多设备上的具有代表性和多样性的架构。在高达 19 个硬件设备和 3 个目标的大量实验证明了方法的有效性和可扩展性。最后，我们证明在不增加额外成本的情况下，我们的方法在不同搜索空间和数据集上优于现有的多目标优化神经架构搜索方法，包括 ImageNet-1k 上的 MobileNetV3 和机器翻译中的 Transformer 空间。

Feb, 2024

本研究论文探讨了动态深度神经网络在不同运行环境下实现快速性能的问题，并提出了一种新的动态 DNN 方法 Dynamic-OFA，该方法通过预先采样 OFA 模型中的子网，配合运行时管理器在不同的运行环境中选择不同的子网来实现。在实验中，使用 ImageNet 数据集验证了该方法的性能表现，相比已有方法，Dynamic-OFA 在 Jetson Xavier NX 上可以实现最高 3.5x 的 CPU 速度和 2.4x 的 GPU 速度提升，并相应地实现 3.8％的 CPU 精度和 5.1％的 GPU 精度提升。

May, 2021

该研究论文总结了多目标神经架构搜索（MONAS）领域的重要工作，并讨论了神经架构搜索的分类方法、目标函数及其随机性对多目标优化过程的影响，并提出了未来研究的方向。

Jul, 2023

本文介绍了 NSGA-Net，一种多目标优化的神经架构搜索算法，它通过使用前人先验知识，遗传算法（交叉和突变）以及贝叶斯网络等方式实现了对潜在神经网络结构的高效探索，从而找到一组多样的交换网络体系结构，并在 CIFAR-10 数据集上取得了与当前最先进的 NAS 方法相媲美的性能。

Oct, 2018

本文提出一种支持任务综合性的任务不可知和模态不可知框架 OFA，用于统一多模态预训练。OFA 在仅使用 2000 万个公开可用的图像 - 文本对进行预训练情况下，在一系列交叉模态任务上实现了新的 SOTAs，并在单模态任务上取得了高竞争性能。同时，OFA 还可以有效地转移到看不见的任务和领域中。

Feb, 2022

本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv2) 方法，该方法在原有的基础上进行了改进，通过加入新操作符、改进预测模型、引入细胞等价检查机制以及自适应贪心探索策略等方法，实现了 PNAS 相似的性能，同时平均搜索时间快了 4 倍。

Oct, 2022