一种高效的通用模块化视觉模型，通过多任务异构训练实现

Jun, 2023

一种高效的通用模块化视觉模型，通过多任务异构训练实现

An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training

Zitian Chen, Mingyu Ding, Yikang Shen, Wei Zhan, Masayoshi Tomizuka...

TL;DR我们提出了一种通用视觉模型，采用集成式的训练方式，使其可同时进行多任务，具有较强的泛化能力和模块化特性，并可在保证较小的训练参数、模型参数和计算量的同时，灵活地满足各种下游任务的需求，且适用于不断学习而无需遗忘的情境。

Abstract

We present a model that can perform multiple vision tasks and can be adapted to other downstream tasks efficiently. Despite considerable progress in multi-task learning, most efforts focus on learning from multi-label data: a single image set with multiple task labels. Such multi-label

multi-task learning heterogeneous datasets vision transformers modularity continual learning

发现论文，激发创造

12 合 1：多任务视觉和语言表示学习

本篇文章通过开发一个大规模、多任务训练体系，研究了不同任务之间的相互关系，提出了一个单一模型，可以在视觉问题回答、基于标题的图像检索、引用表达和多模态验证等四个广泛的任务范畴下，同时取得以往 3 亿多参数内单一任务模型的总和，且性能提高了 2.05 个百分点，并进一步表明，从单一多任务模型微调任务特定模型会进一步提高性能。

Dec, 2019

4M-21：面向数十项任务和模态的任意到任意视觉模型

通过对多个多媒体形式进行联合训练和扩展，我们成功地提升了多模态模型的能力，并展示了训练一个模型以解决更多任务 / 多模态性的可能性，而不损失性能，从而实现更精细化和可控的多模态生成能力。

Jun, 2024

Edge-MoE：使用 Experts 混合方法的记忆高效式多任务视觉 Transformer 架构和任务级别稀疏性

该研究提出了 Edge-MoE 的解决方案，这是第一个针对 multi-task ViT 的端到端 FPGA 加速器，其创新包括 Novel Reordering Mechanism、Fast Single-Pass Softmax Approximation、Low-Cost GELU Approximation、Unified Computing Unit 和 Novel Patch Reordering Method。较 GPU 和 CPU 相比，Edge-MoE 的能源效率分别提高了 2.24x 和 4.90x。

May, 2023

Uni-Perceiver-MoE：使用条件 MoE 学习稀疏的通用模型

通过引入条件混合专家，这项工作成功地解决了现有通用模型在某些任务上性能降低的问题，并在各种基准测试中取得了最先进的结果。

Jun, 2022

变色龙：一种在野外进行密集视觉预测的数据高效通用模型

通过使用元学习框架及一些改进技术，我们构建了一个适应不同稠密标签结构的通用模型，并在各种真实场景中进行了评估，表明我们的模型在最多使用 50 张标记图像的情况下，比现有的数据高效通用方法取得了显著的进展。

Apr, 2024

基于图的异构多任务学习生成模型

提出了一种新的基于图的生成模型，将多个异构学习任务统一到同一框架中，通过将图卷积网络与多个变分自编码器相结合，在不同的任务上嵌入节点，从而成功提高了所有任务的性能，推动了现有先进方法的进步。

Nov, 2019

视觉场景理解的多任务学习

研究多任务学习在计算机视觉中的应用，通过综述现有方法，提出几种方法处理多任务学习中的重要问题，并在各种基准测试中进行评估，进一步提升了多任务学习的状态。

Mar, 2022

异质多任务学习与专家多样性

提出了一种名为 MMoEEx 的多门分层专家模型用于解决多任务学习（MTL）中的挑战，旨在优化单个模型以同时预测具有不同特征的多个任务，我们采用了一种方法来引入专家间的多样性，以创造更适合高度不平衡和异构 MTL 学习的表示，并采用两步优化方法在梯度水平上平衡任务。

Jun, 2021

联合多模态图像融合及其它应用的二层动态学习

本文描述了一种层次双任务驱动的深度模型，用于多模态场景感知，包括图像融合和场景理解。该模型不仅能够产生视觉良好的融合结果，而且比现有技术实现了显著的检测和分割优势。

May, 2023

通用多模态 Transformer 满足遥感语义分割

在遥感语义分割领域中，本研究调查了 PerceiverIO 等普适性多模态网络在处理遥感图像中的物体尺度变化和车辆检测方面的表现，并提出一种空间和体积学习组件来解决这些问题。通过广泛的实验证明，该方法在与 UNetFormer 和 SwinUNet 等专用架构相比具有竞争力的结果，显示出最小化网络架构工程且性能不受明显影响的潜力。

Jul, 2023