UHD 图像修复的相关匹配变换 Transformer
本文介绍了 Uformer - 一种基于 Transformer 的高效图像恢复架构,在其中构建了使用 Transformer 块的分层编码器 - 解码器网络。使用局部增强窗口 (LeWin) Transformer 块和多尺度恢复调制器,Uformer 具有高效捕获局部和全局图像依赖性的能力,可用于多种图像恢复任务,并在实验证明与最先进的算法相比具有卓越的性能。
Jun, 2021
基于 GAN 的生成流程模拟了 UDC 的退化过程,创建了名为 PexelsUDC 的大规模数据集,通过该数据集对现有的视频修复方法进行了广泛的基准研究,并提出了一种基于 transformer 的基线方法,该方法在 PexelsUDC 上取得了最先进的性能。
Sep, 2023
本研究提出了一种高分辨率图像融合网络,其中结合了像素到像素变换和 RGB 到 RGB 变换,通过低分辨率像素生成器、颜色映射模块和细化模块进行协同工作,旨在解决高分辨率图像合成中的多个问题,且效果明显。
Sep, 2021
提出了一种新的多模态融合架构 UCFFormer,它能够整合具有不同分布的数据以增强人类动作识别 (HAR) 的性能;通过使用统一 Transformer 来捕捉嵌入特征在时间和模态领域之间的相互依赖关系,并引入了分解的时间 - 模态注意力来高效执行自注意力,在各种模态之间减少特征分布上的差异,从而生成在语义上对齐的特征进行信息融合;在 UTD-MHAD 和 NTU RGB+D 两个流行数据集上进行的性能评估表明,UCFFormer 通过显著的优势超越竞争方法,实现了最先进的性能。
Sep, 2023
通过融合多曝光低动态范围(LDR)图像生成无伪影、具有真实细节的高动态范围(HDR)图像是高动态范围成像的目标。为了解决相关问题,本文提出了一种高质量 HDR 图像生成的 HDR 转换变形卷积(HDRTransDC)网络,该网络包括 Transformer Deformable Convolution Alignment Module(TDCAM)和 Dynamic Weight Fusion Block(DWFB)。详细实验表明,我们的方法在定量和定性上都达到了最先进的性能。
Mar, 2024
本文提出了一种基于经典立体设置的 Under-Display Camera (UDC) 图像修复数据收集方法,并通过一种新颖的基于 Transformer 的框架,解决了由于透视和景深变化导致的空间错位和 UDC 图像与普通图像之间的巨大领域差异问题。实验证明,高质量且对齐的伪 UDC 训练对于训练生成性能强大的修复网络至关重要。
Apr, 2023
本文提出了一种名为 Restoration Transformer 的有效 Transformers 模型,通过几个关键设计,使其能够捕捉长距离像素交互,同时仍适用于大图像,在图像去噪、去模糊和降雨方面达到了最先进的效果。
Nov, 2021
提出了一种基于 CNN 和 Dual Transformer 的 hierarchical dual Transformer 方法(HDT-HDR)进行去除 LDR 图像中 ghosts 的 HDR 图像生成方法,该方法能够同时提取全局特征和局部特征,进行了大量实验验证其效果优于现有的 HDR ghost removal 方法。
Apr, 2023
本文提出了一种新颖的跨尺度变换器来处理不同阶段的特征表示,同时引入了自适应匹配感知变换器、双特征引导聚合和特征度量损失等方法,以提高深度估计的准确性。实验证明,这种方法在 DTU 数据集和 Tanks and Temples 基准测试中取得了最先进的结果。
Dec, 2023
我们研究了基于 transformer 的单图像超分辨率方法,并发现 transformer 结构在捕捉低频信息方面更加擅长,但相较于卷积模型在构建高频表示方面容量有限。我们提出的 CRAFT 方法综合了卷积和 transformer 结构的优势,在多个数据集上实验结果表明,CRAFT 方法在参数更少的情况下比当前最先进的方法提高了 0.29dB。
Aug, 2023