本文提出了一种基于多粒度跨模态对齐的框架，通过利用病理区域级别、实例级别和疾病级别上医学图像和放射学报告之间的自然语义一致性来学习泛化的医学视觉表征，实验结果表明，该方法在涵盖了图像分类、物体检测和语义分割等七个下游医疗图像任务上表现出稳定和卓越的性能。

Oct, 2022

提出了一种适用于医学报告生成的图像到指标的层次变压器（IIHT）框架，包括分类器模块、指标扩展模块和生成器模块，通过从医学图像中提取的特征和图像特征作为辅助信息生成最终报告，该方法在实际情境中可供放射科医生修改疾病指标并整合到指标扩展模块以实现流畅准确的医学报告生成。通过与最先进方法的广泛实验和比较，证明了该方法的出色性能。

Aug, 2023

我们提出了一种基于 Transformer 的多例学习方法，用区域视觉 Transformer 自注意机制替代传统的学习注意机制，通过融合区域块信息来预测整张幻灯片，并展示了如何在不同距离级别上分层处理特征。为了提高预测准确性，尤其是对于具有小区域形态特征的数据集，我们介绍了一种在推断期间将图像处理集中于高注意区域的方法。我们的方法能够显著提高两个组织病理学数据集上的性能，并指出了进一步研究的有希望的方向。

Aug, 2023

研究了医学影像的自动生成报告问题，提出了多任务学习框架、注意力机制和递归神经网络以解决标签预测、异常区域定位和长段落生成等难点问题，并在两个公共数据集上进行了验证。

Nov, 2017

本文提出了使用记忆驱动 Transformer 来生成放射学报告，实验证明该方法可以以更高的质量、更长的长度和更多的医学术语产生放射学报告，此为我们所知第一次在 MIMIC-CXR 上实现放射学报告的生成结果。

Oct, 2020

本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块，并引入新颖的医学概念生成网络来预测细粒度语义概念，并将其作为指导结合到自动生成医学报告的过程中，最终在 MIMIC-CXR 及图像字幕生成和医学报告生成多个领域的基准测试中，表现出了优异的性能。

Aug, 2022

提出了一种病变引导的可解释性小样本医学报告生成框架，该框架通过视觉和语义特征对齐学习见过的和新疾病类型之间的相关性，从而生成未在训练中观察到的疾病的报告。

Nov, 2022

本文提出了一种基于进化算法的改进型 Transformer 架构，用于医学图像分类。该架构在 Convolutional Neural Networks 和 Vision Transformers 的基础上结合了它们的优势，利用它们在数据中识别模式和适应特定特征的能力。实验结果表明，与基准模型相比，所提出的 EATFormer 显著改善了预测速度和准确性。

Mar, 2024

在电子健康记录上进行多模态模型的预训练可以学习表示，以最小的监督进行下游任务的转移。最近的多模态模型在图像区域和句子之间引入了软局部对齐，这对医疗领域非常有意义，但标注结果发现图像区域与句子之间的关注并不一致。一些简单的技术，如允许模型退出图像的关注和少量微调，可能有望改善对齐，减少对人工干预的依赖。

Oct, 2022

提出了一种面向医学图像分割的多维注意力变换器 (MDT-AF) 方法，通过重新设计补丁嵌入和自注意机制来解决医学图像分割中存在的低信噪比和特征表示容量有限的问题，并取得了当前最先进的性能。

May, 2024