针对低级视觉的高效基于 Transformer 的图像预训练

Dec, 2021

针对低级视觉的高效基于 Transformer 的图像预训练

On Efficient Transformer-Based Image Pre-training for Low-Level Vision

Wenbo Li, Xin Lu, Shengju Qian, Jiangbo Lu, Xiangyu Zhang...

TL;DR本文研究预训练在图像处理系统中的作用，采用基于 Transformer 的预训练机制提高各种低级任务的性能，并设计一整套对内部表示影响的评估工具。实验证明，预训练对低级任务有着截然不同的影响，其中多任务预训练是最有效和数据高效的方法，本研究成功地开发了多种低级任务的最新模型。

Abstract

pre-training has marked numerous state of the arts in high-level computer vision, while few attempts have ever been made to investigate how pre-training acts in image processing systems. In this paper, we tailor

pre-training transformer-based low-level tasks internal representations multi-related-task pre-training

发现论文，激发创造

预训练图像处理 Transformer

本论文主要研究了低层级计算机视觉任务（如去噪、超分辨率和去雨等），并开发了一种新的预训练模型 —— 图像处理变压器（IPT），通过 ImageNet 基准测试产生大量的损坏图像对，训练 IPT 模型并成功地在不同的图像处理任务上产生了良好的结果。

Dec, 2020

高效条件预训练用于迁移学习

提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

Nov, 2020

基于不变性的视觉 Transformer 微调过程研究

本文旨在研究预训练与微调之间的关系，提出了一系列度量指标，探讨了预训练模型中不变性的传递性、微调过程中对不变性的保留与丢失、以及预训练模型在下游任务中的表现和变化。

Jul, 2023

自我监督轻量级视觉 Transformer 的深入探讨

本文主要通过使用基于掩码图像建模的 MAE pre-training 方法，即 MAE-lite，来为轻量级 ViTs 的 pre-training 提供配方，并与其他 fully-supervised 和 self-supervised pre-training counterparts 进行对比，分析和表明了这种 pre-training 的影响，揭示了 pre-trained 模型的适当学习的底层在数据充足的下游任务中更为重要的作用，并开发了一个 distillation 策略来提高 pre-trained representations，从而实现更好的性能。

May, 2022

RePre：利用重构预训练提高自监督视觉 Transformer 的性能

本文提出了一种基于重构预训练技术 (RePre) 的自监督视觉变压器模型，使用本地特征学习来替代对图像的全局理解，其中重构预训练通过向现有对比性目标添加像素重构分支，使用变压器编码器的多层次特征进行处理，并提供了从低到高语义信息的丰富监督信息；在各种对比学习框架和不同的视觉变换器架构上，该方法带来的转移性能超过了受监督的预训练和最先进的自监督方法。

Jan, 2022

视觉 - 语言预训练模型综述

本文综述了视觉 - 语言预训练模型在多模态学习上的进展，介绍了编码图像、文本信息的方法，分析了模型中处理文本与图像交互的主流架构以及已有的预训练任务和下游任务，并提出了未来的研究方向。

Feb, 2022

使用视觉 Transformer 进行简单的开放词汇物体检测

采用对比式图文预训练和端到端检测微调方法，结合扩展的图像预训练和模型尺度的优化，实现了基于 Vision Transformer 的开放词汇目标检测的零样本和单样本条件下的行为表现。

May, 2022

基于视频和合成 MRI 的三维视觉架构预训练用于神经影像分析

通过对多种视觉架构进行基准测试，证明了预训练模型在新兴数据集上的初始化价值，使得这些预训练模型能够适应各种下游神经影像任务，即使目标任务的训练数据有限。

Sep, 2023

基于 Transformer 的视频语言预训练调查

本文综述了基于 Transformer 的预训练方法在视频语言学习方面的应用，包括代理任务、下游任务和常用视频数据集，将 Transformer 模型分为单流和多流结构，并比较它们的性能。最后，我们分析和讨论了当前挑战和了可能的未来研究方向。

Sep, 2021

观察、分析与解决：通过带掩码图像建模预训练探索强大轻量化视觉 Transformer

通过对轻量级视觉 Transformer（ViTs）的掩码图像建模（MIM）预训练方法与对比学习（CL）预训练方法在不同数据规模下的行为对比研究，观察到了 MIM 预训练在高层学习上的劣质表现以及其对数据不足下游任务的不理想 Fine-tuning 表现，进而提出了预训练退火策略来解决这一问题，实验证明了该方法在不同视觉任务中的有效性。

Apr, 2024