本研究提出了 OFASys 系统，它使用一种多模态指令来定义任务，并自动生成任务计划以支持各种多模态工作负载的多任务训练。该系统的单个模型 OFA + 可以处理文本、图像、语音、视频和运动数据，且只需要 15 个任务微调模型的 16% 的参数就可以实现 95% 的性能表现，从而提供了多模态任务扩展性的性能可靠性。

Dec, 2022

提出了一种新颖的方法 One For All (Ofa)，通过智能地初始化目标语言中看不见的子词嵌入，从而高效有效地将预训练语言模型（PLMs）适应于多种语言，并通过外部的多语言词嵌入和矩阵分解技术提高效率和性能。

Nov, 2023

该研究提出了一种新的两阶段预训练框架来生成视频描述和回答问题，称为 VideoOFA 模型，在大规模图像 - 文本数据上预先训练表示学习，然后在中间视频 - 文本预训练阶段仅适应于视频数据来学习时空推理等视频特定技能，这使得该模型在四个视频描述基准测试中实现了新的最优表现，并在两个开放式的视频问答数据集上优于现有模型，展示了其作为通用视频 - 文本模型的泛化能力。

May, 2023

该研究介绍了 Once-for-All（OFA）神经架构搜索（NAS）框架，利用多目标优化算法在 OFA 神经网络的基础上搜索高效的神经架构，并生成一个 Pareto 前沿，以指导 NAS 决策。

Mar, 2023

通过引入文本属性图和节点感兴趣的概念以及新颖的图提示范式，我们提出了全称为 One for All (OFA) 的通用框架，使得单个图模型能够处理多样的图学习任务，并在不同的领域表现出色。

Sep, 2023

我们提出了一种基于一次训练（OFA）网络的方法，通过将训练和搜索分离，支持多种网络结构并可以快速选择以减少计算成本。使用渐进式缩减算法进行高效训练，在各种边缘设备上具有优异的表现和更少的能源成本，赢得了 Low Power Computer Vision Challenge 的胜利。

Aug, 2019

采用单一的 Transformer 骨干网络，将多种数据模态与不同空间分辨率结合，解决了当前基础模型在地球视觉领域的多个下游任务中的适用性问题。

Jan, 2024

该研究提出了一个名为 CompOFA 的设计空间，基于复合关系的模型维度来约束最优的模型配置，实现了在保证 Pareto 优化的情况下，相较于现有技术，减少了 2 倍的训练时间和 216 倍的模型搜索 / 提取时间。

Apr, 2021

通过引入四个针对安哥拉语言进行微调的针对预先训练语言模型（PLM）进行定制的 PLM，采用多语言自适应微调（MAFT）方法，本文调查了在下游任务中通过信息嵌入初始化和合成数据来增强 MAFT 模型性能的作用，将基线模型在 SOTA AfroXLMR-base（通过 MAFT 开发的）和 OFA（有效的嵌入初始化）上分别提高了 12.3 和 3.8 个百分点。

Apr, 2024

本文提出 OFAv2，它是 Once-For-All 算法的改进版，它通过包括早期退出、并行块和密集跳连接来改进体系结构，并扩展了训练过程，引入了 Elastic Level 和 Elastic Height 两个新阶段。此外，本文提出适用于多输出网络的新型知识蒸馏技术，并提出了动态教师网络选择的新策略。这些修改使得 OFAv2 在 Tiny ImageNet 数据集上的准确性能比 OFA 原始版本提高了高达 12.07％，同时仍然保持算法的灵活性和优势。

Feb, 2023