本文介绍了 Uformer - 一种基于 Transformer 的高效图像恢复架构，在其中构建了使用 Transformer 块的分层编码器 - 解码器网络。使用局部增强窗口 (LeWin) Transformer 块和多尺度恢复调制器，Uformer 具有高效捕获局部和全局图像依赖性的能力，可用于多种图像恢复任务，并在实验证明与最先进的算法相比具有卓越的性能。

Jun, 2021

本研究提出了一种通用的多尺度框架，可应用于当前最先进的基于 Transformer 的时间序列预测模型，通过多尺度共享权重迭代地改进预测的时间序列，引入架构适应和特殊设计的标准化方案，可在不增加过多计算负担的情况下，将性能从 5.5％提高到 38.5％，详细的消融研究表明了每个贡献在架构和方法上的有效性，进一步证明了所提出的改进优于其对应的基线模型，代码公开在此 https URL。

Jun, 2022

时间序列预测是各个工业领域中的关键任务。近年来，具备变换器骨干的神经网络在计算机视觉和自然语言处理等多个领域中取得了显著成功。在时间序列分析领域，一些研究发现即使是最简单的多层感知机网络在时间序列预测任务上也能胜过先进的基于变换器的网络。然而，我们认为这些发现表明时间序列序列中存在低秩特性。本文中，我们考虑了变换器的低通特性，并试图融入多层感知机的优点。我们在传统的变换器骨干中采用了受 Unet 启发的跳跃连接，从而保留了从输入到输出的高频率上下文，即 U 型变换器。我们引入了补丁合并和分割操作，以提取不同尺度的特征，并利用更大的数据集充分利用变换器骨干。我们的实验表明，该模型在多个数据集上表现出较高水平的性能，并具有相对较低的成本。

Jul, 2023

我们首次尝试研究长期交通预测的问题，并提出了一种名为 HUTFormer 的新型模型，通过多尺度表示来有效改善长期交通预测的挑战，并在多个交通数据集上证明其在预测性能上显著优于现有的基准模型。

Jul, 2023

提出了利用 FPPformer 在时间序列预测 Transformer 中设计全面和合理的层次结构，从而验证了其在六个最新基准测试中的显著性能，并且 decoder 在时间序列预测中的精心设计的重要性。

Dec, 2023

我们提出了一种新的变换器解码器 U-MixFormer，基于 U-Net 结构设计的，用于高效的语义分割。通过在编码器和解码器阶段之间利用侧连接作为特征查询，我们的方法与以前的变换器方法有所不同。此外，我们创新地混合来自各个编码器和解码器阶段的分层特征图，形成一个统一的键和值表示，从而产生我们独特的混合注意模块。大量实验证明，U-MixFormer 在各种配置上表现出色，并且在 ADE20K 上使用 MSCAN-T 编码器的 mIoU 比 SegFormer 和 FeedFormer 高出 3.3%。

Dec, 2023

本文提出了一个统一的框架，它由两个体系结构组成，称为 UNetFormer，具有基于 3D Swin 变压器的编码器和卷积神经网络和变压器的解码器。该架构的设计允许在准确性和计算成本之间满足宽范围的权衡要求。使用 CT 图像进行自我监督预训练，使用 Medical Segmentation Decathlon（MSD）数据集进行肝和肝肿瘤分割任务的 Fine-tune 和测试，并使用 MRI 图像的 BraTS 21 数据集进行脑肿瘤分割，并在 Dice 评分方面优于其他方法。

Apr, 2022

该论文介绍了一种名为 Pathformer 的多尺度 Transformer 模型，通过自适应路径进行多尺度建模，以提高预测准确性和泛化能力，实验证明其在真实数据集上表现出优越的性能和泛化能力。

Feb, 2024

该论文提出了一种名为 Earthformer 的深度学习模型，通过利用 cuboid attention 机制，成功地应用于 El Nino/Southern Oscillation (ENSO) 的预测，该方法表现出了最新的性能。

Jul, 2022

本研究使用图神经网络和不同的 Transformer 架构，探讨风速预测的时空依赖性，提出了 Fast Fourier Transformer 和 Autoformer 架构，使用这些架构的模型在时空预测上的表现优于其他模型。

Aug, 2022