该研究提出了一种结合了 CNN 和 transformer 的方法 ——TransMed，在多模态医学图像分类中取得了很好的性能，这一方法为医学图像分析任务开启了更多可能性。

Mar, 2021

提出了一种基于多模型 Transformer 的深度学习架构，通过整合临床记录，实现了对心血管疾病的多类别检测，并为实现临床和急诊环境下的实时患者状态监测奠定了基础。

Feb, 2023

Patchformer 是一种整合了补丁嵌入 (patch embedding) 和编码 - 解码式 Transformer 架构的新型模型，用于解决现有基于 Transformer 的模型在长期预测中难以应对复杂时间模式的问题，通过将多元时间序列数据分解为多个单元数据并将其分割为多个补丁，Patchformer 有效地提高了模型捕捉局部和全局语义依赖性的能力，数值分析表明，在新颖的多能源数据集和其他基准数据集上，Patchformer 在多元和单元长期预测中均能够获得更好的准确性，此外，研究还发现了能源相关产品之间相互依赖对 Patchformer 和其他对比模型长期时间序列预测性能的积极影响，以及 Patchformer 相对于其他模型的优越性，这在处理长期多能源预测的相互依赖性和复杂性方面具有重大的进展，最后，Patchformer 作为唯一一个模型跟踪过去序列长度与模型性能之间的正相关关系，突出了其捕捉长程过去局部语义信息的能力。

Apr, 2024

提出一种名为 MultiResFormer 的基于 Transformer 的模型，通过自适应选择最佳的 patch 长度来动态建模时间序列的变化，并在长期预测任务中优于基于 patch 的 Transformer，同时使用比 CNN 基线更少的参数。

Nov, 2023

通过利用电子健康记录 (EHR) 数据在医学领域的广泛应用，使用深度学习方法在疾病风险预测方面取得了早期成功。然而，现有研究对 EHR 数据的潜力未能充分利用，存在着许多关键问题，如融入疾病领域知识、异构学习疾病表示以及捕捉疾病进展的时间动态等。为了克服这些限制，本研究引入了一种新型的异构图学习模型，旨在融合疾病领域知识，阐明药物和疾病之间错综复杂的关系。该模型创新性地将时间数据融入到访问级嵌入中，并利用一个考虑时间的 Transformer 和自适应注意机制来生成患者表示。经过两个医疗数据集的评估，我们的方法在预测准确性和可解释性方面表现出显著提升，为个性化和主动式的医疗管理迈出了实质性的进展。

Apr, 2024

我们提出了一种基于多维嵌入感知的模态融合变压器（MFFormer）来使用静息状态功能磁共振成像（rs-fMRI）和 T1 加权结构磁共振成像（T1w sMRI）对精神分裂症和双相障碍进行分类，实验结果表明我们的 MFFormer 在精神分裂症和双相障碍诊断上表现优于单一或多模态 MRI。

Oct, 2023

我们提出了一个动态嵌入和分词框架，通过学习多模态临床时间序列的时间感知表示，并结合时间交叉注意力，将其整合到滑动窗口关注的多任务 Transformer 分类器中，在预测超过 120,000 例住院手术的九种术后并发症的示例任务中，使用来自美国三家医院和两个学术医疗中心的多模态数据，我们的嵌入和分词框架优于基线方法。

Mar, 2024

通过将 Hierarchical Coarse-to-Fine Transformer (HCT) 和 Dense Information Purification (DIP) 模块结合进 CNN-Transformer，我们提出了 EEG-Deformer 算法，有效地学习了脑电图（EEG）信号中的时间动态，进而解码脑活动，实验证明它在三个认知任务上要么优于现有的最先进方法，要么与其相媲美。

Apr, 2024

该论文介绍了一种名为 Pathformer 的多尺度 Transformer 模型，通过自适应路径进行多尺度建模，以提高预测准确性和泛化能力，实验证明其在真实数据集上表现出优越的性能和泛化能力。

Feb, 2024

本文提出了 Eformer - Edge enhancement based transformer，这是一种新型的结构，利用变压器块构建编码器 - 解码器网络进行医学图像去噪。变压器块中使用非重叠窗口自注意力，以减少计算要求。该文进一步将可学习的 Sobel-Feldman 运算符并入图像中以增强边缘，并提出了将它们在我们的结构的中间层中连接的有效方法。实验分析比较了确定性学习和残差学习用于医学图像去噪任务。为了证明我们方法的有效性，我们的模型在 AAPM-Mayo Clinic 低剂量 CT 大挑战数据集上进行评估，并达到最新的性能，即 43.487 PSNR，0.0067 RMSE 和 0.9861 SSIM。我们相信我们的工作将鼓励更多的研究者使用残差学习开发基于变压器结构的医学图像去噪方法。

Sep, 2021