Instruct-IPT：基于权重调控的一体化图像处理变换器

Jun, 2024

Instruct-IPT：基于权重调控的一体化图像处理变换器

Instruct-IPT: All-in-One Image Processing Transformer via Weight Modulation

Yuchuan Tian, Jianhong Han, Hanting Chen, Yuanyuan Xi, Guoyang Zhang...

TL;DR提出了 Instruct-IPT - 一种多合一图像处理 Transformer，可以有效地处理具有大的任务间隔的多种图像修复任务，通过权重调节来自适应特定任务的权重，通过同步训练更新通用骨干模型和特定任务的偏差，以便指导模型学习通用和特定任务知识，并通过文本指令来提高用户界面的操控。

Abstract

Due to the unaffordable size and intensive computation costs of low-level vision models, All-in-One models that are designed to address a handful of low-level vision tasks simultaneously have been popular. However, existing All-in-One models are limited in terms of the range of tasks and performance. To overcome these limitations, we propose Instruct-IPT --

all-in-one image processing transformer image restoration tasks weight modulation synchronous training diffusion denoisers

发现论文，激发创造

预训练图像处理 Transformer

本论文主要研究了低层级计算机视觉任务（如去噪、超分辨率和去雨等），并开发了一种新的预训练模型 —— 图像处理变压器（IPT），通过 ImageNet 基准测试产生大量的损坏图像对，训练 IPT 模型并成功地在不同的图像处理任务上产生了良好的结果。

Dec, 2020

磁共振图像处理变压器的普适重建

发展和评估了一种用于常规加速磁共振成像重建的深度学习模型。

May, 2024

遵循人类指令的高质量图像修复

使用人类编写的指令指导图像修复模型，InstructIR 能从多种退化类型的图像中恢复高质量图像，包括图像去噪、去雨、去模糊、去雾和低光图像增强等多个恢复任务，并在这些任务上实现了最新的结果，此方法还提供了一个新的基准，用于文本指导的图像修复和增强的研究。

Jan, 2024

利用双重加权多粒度补丁张量模型和张量列车分解进行红外小目标检测

该研究提出了一种新的双加权多层次红外图像小目标检测模型，通过采集不重叠的图像块和使用张量分解来构建多层次红外图像小目标模型，利用自适应加权机制平衡不同粒度信息的重要性，并利用导向核提取局部结构信息，最终通过交替方向乘子法进行模型优化，实验结果表明该方法在不同场景下具有很好的鲁棒性和检测性能。

Oct, 2023

IPT-V2: 高效的图像处理转换器使用层次注意力

近期的研究表明，基于 Transformer 架构的方法在图像恢复方面具有强大的能力。然而，我们的分析表明，现有的基于 Transformer 的方法无法同时建立精确的全局依赖关系和局部依赖关系，而这对于恢复退化图像的细节和缺失内容非常关键。为此，我们提出了一种具有分层注意力的高效图像处理 Transformer 架构，称为 IPTV2，采用了一种聚焦上下文自注意力（FCSA）和全局网格自注意力（GGSA），以在局部和全局感受野中获取充分的令牌交互。具体而言，FCSA 将移位窗口机制应用于通道自注意力中，有助于捕捉局部上下文和通道间的相互作用。GGSA 在跨窗格中构建长距离的依赖关系，在空间维度中聚合全局信息。此外，我们引入结构重新参数化技术来改进前馈网络的模型能力。大量实验证明，我们提出的 IPT-V2 在各种图像处理任务上取得了最先进的结果，包括去噪、去模糊、去雨等，并且在性能和计算复杂度的权衡方面获得了很大的改进。此外，我们将我们的方法扩展到图像生成作为潜在扩散的支撑，显著优于 DiTs。

Mar, 2024

InvPT: 倒金字塔多任务 Transformer 用于密集场景理解

本文提出了一种新型的端到端的倒金字塔多任务变形器（InvPT），用于在统一框架中同时建模空间位置和多个任务，以进行密集预测，该方法可显著提高 NYUD-v2 和 PASCAL-Context 数据集上的多任务表现，并显著优于以前的最新技术。

Mar, 2022

使用 Transformer 进行感知图像质量评估

本文提出了一种图像质量转换器 (IQT)，成功地将变压器架构应用于感知全参考图像质量评估 (IQA) 任务。

Apr, 2021

动态预训练：高效可扩展的一体化图像恢复

通过 DyNet 动态网络设计的全能图像恢复任务模型，结合权重共享机制和动态预训练策略，在图像去噪、去雨和去雾等多种任务上取得了最新的成果，同时比基准模型减少 31.34% 的 GFlops 与 56.75% 的参数。

Apr, 2024

InstructSeq：将视觉任务与指令条件下的多模态序列生成统一

InstructSeq 是一种多模态建模框架，通过灵活的自然语言控制和处理视觉和文本数据，将多样化的视觉任务统一起来。通过使用 LLM 生成的自然语言指令进行训练，InstructSeq 在指定视觉任务的自由形式指令理解方面具有强大的能力，并在语义分割、引用表达分割 / 理解和图像字幕等任务上取得了令人信服的性能。该模型的灵活控制和多任务统一使其具备了类似人类的多样性和泛化能力，并且即将发布其代码。

Nov, 2023

Instruct-Imagen: 多模态指导下的图像生成

本文介绍了 instruct-imagen 模型，它解决了异质图像生成任务并且可以泛化到未知任务。我们通过引入多模态指导来完成图像生成的任务表示，利用自然语言将不同的模态（如文本、边缘、风格、主题等）融合在一起，使得丰富的生成意图可以以统一的格式标准化。接着，我们通过两阶段的框架，利用预训练的文本到图像扩散模型进行精调来构建 instruct-imagen 模型。在第一阶段，我们利用检索增强训练方法使模型能够在外部多模态上更好地进行生成。随后，我们对不同的需要视觉语言理解的图像生成任务进行精调，每个任务都与一个包含任务本质的多模态指导相匹配。在各种图像生成数据集上进行的人工评估表明，instruct-imagen 在领域内与先前特定任务的模型相媲美甚至超越，并展示了对未知和更复杂任务的有希望的泛化能力。

Jan, 2024