多任务自训练用于学习通用表示

ICCVAug, 2021

Multi-Task Self-Training for Learning General Representations

Golnaz Ghiasi, Barret Zoph, Ekin D. Cubuk, Quoc V. Le, Tsung-Yi Lin

TL;DR通过利用已训练的独立专业模型的知识来训练一个单一的通用学生模型，本研究提出了一种名为多任务自我训练（MuST）的方法，此方法 3 个步骤，包括利用专业教师模型对未标记的数据进行标记以创建一个多任务虚标记数据集，然后使用该数据集对学生模型进行多任务学习，实验证明此方法可提高训练的性能。

Abstract

Despite the fast progress in training specialized models for various tasks, learning a single general model that works well for many tasks is still challenging for computer vision. Here we introduce multi-task self-trai

multi-task learning self-training computer vision feature representations labeled and unlabeled data

发现论文，激发创造

有限数据的自训练和多任务学习：目标检测评估研究

通过对教师训练数据不足的自训练目标检测和部分注释数据的多任务学习进行比较，验证了使用弱教师和未知数据训练多任务学生时性能的提高，表明多任务知识蒸馏和自训练的潜力，可为未来的研究提供帮助。

Sep, 2023

无标签图像分类的屏蔽无监督自训练

本文提出了一种利用目标领域丰富的无标注数据改进已预训练的零样本分类器的无监督微调方法 Masked Unsupervised Self-Training（MUST）并在各种下游任务上证明了其有效性，包括在 ImageNet 上使用 ViT-B 的准确率高达 77.7％，比 CLIP 高 9.4％，比 16-shot CLIP 适应高 6.2％。

Jun, 2022

一种高效的通用模块化视觉模型，通过多任务异构训练实现

我们提出了一种通用视觉模型，采用集成式的训练方式，使其可同时进行多任务，具有较强的泛化能力和模块化特性，并可在保证较小的训练参数、模型参数和计算量的同时，灵活地满足各种下游任务的需求，且适用于不断学习而无需遗忘的情境。

Jun, 2023

视觉场景理解的多任务学习

研究多任务学习在计算机视觉中的应用，通过综述现有方法，提出几种方法处理多任务学习中的重要问题，并在各种基准测试中进行评估，进一步提升了多任务学习的状态。

Mar, 2022

基于师生网络的半监督通用属性预测学习

本文提出了一种多教师 - 单学生 (MTSS) 方法，通过使用标签嵌入技术，可以学习任务特定的领域专家，并通过迫使模型模仿领域专家所学习的分布方法，学习图像表示的有效方法，从而实现了对视觉属性预测问题的半监督学习。实验结果表明，该方法不仅在时尚属性预测的各种基准测试上取得了竞争性的性能，还提高了不可见领域的鲁棒性和跨域适应性。

Jul, 2020

启发式视觉预训练的自监督和有监督多任务学习

提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

Oct, 2023

部分监督多任务学习

提出了一种基于自监督学习和对抗训练的半监督多任务学习模型，称为 S$^4$MTL，可用于医学成像中的分割和诊断分类任务。实验结果表明，该模型在减少 50% 标签数量的情况下，明显优于半监督单任务、半 / 全监督多任务和全监督单任务模型，并且可以用于解决有限注释问题的联合训练。

May, 2020

通过多任务自监督预训练提高对于样本外泛化能力

本研究表明，在计算机视觉中，使用自监督学习获得的特征，在域泛化方面与或优于使用监督学习获得的特征，并引入了一个新的自监督预文本任务来预测对 Gabor 滤波器组的响应，使用多任务学习提高了域泛化性能。

Mar, 2020

多任务学习中的辅助任务

通过在视觉数据集中引入小部分的附加任务，可以提高深度多任务卷积神经网络的性能，证实了辅助任务在加速训练和优化最终结果方面的有效性

May, 2018

MulT: 一种端到端的多任务学习变压器

我们开发了一种称为 MulT 的端到端多任务学习 Transformer 框架，用于同时学习多个高级视觉任务，包括深度估计、语义分割、重着色、表面法线估计、2D 关键点检测和边缘检测。我们的框架基于 Swin transformer 模型，利用任务特定的基于 Transformer 的解码器头为每个视觉任务进行预测，并采用共享的注意机制模型来建模跨任务的依赖关系。我们在多个多任务基准测试中评估了我们的模型，显示出我们的 MulT 框架优于最先进的多任务卷积神经网络模型和所有各自的单任务 Transformer 模型。我们的实验进一步突出了共享所有任务的注意力的优点，并证明我们的 MulT 模型具有鲁棒性和很好的泛化性能。

May, 2022