通过眼动追踪作为替代文本报告的方法，我们可以 passively 收集放射科医师在阅读和诊断医学图像时的视觉关注和临床推理，从而在医学图像领域中改善对比度预训练的有效性。我们提出了医学对比度视线图像预训练（McGIP）作为对比度学习框架的即插即用模块，通过放射科医师的注视来指导对比度预训练，实验结果表明了 McGIP 的实用性，显示其在各种临床场景和应用中具有很高的潜力。

Dec, 2023

提出了 ContrastiveCrop，一种用于 Siamese 表示学习的更好对比对的生成方法，该方法采用全无监督方式提出了基于语义的目标定位策略并进一步设计了中心抑制采样来扩大裁剪区域的方差，成功提高了自我监督学习中 SimCLR，MoCo，BYOL，SimSiam 等方法的分类准确率，同时在基于 ImageNet-1K 预训练的下游检测和分割任务上取得了优异的结果。

Feb, 2022

通过医疗图片的图像 - 图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和 transformer 注意力机制，在对 CheXpert 数据集进行实验时，在 1% 线性评估和少样本情况下表现优于已有的图像 - 文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。

May, 2024

利用外观为基础的凝视估计具有很大潜力，通过使用单个通用摄像头作为输入设备，但是在很大程度上取决于大规模且经过良好注释的凝视数据集的可用性，这种数据集是稀缺且昂贵的。为了解决这个挑战，我们提出了一种基于对比学习的框架 ConGaze，该框架利用未标记的面部图像以无监督的方式跨主体学习通用的凝视感知表示。我们的实验证明 ConGaze 在三个公共凝视估计数据集上胜过现有的无监督学习解决方案 6.7％至 22.5％；并且在跨数据集评估中相对于基于监督学习的模型，取得了 15.1％至 24.6％的改进。

Sep, 2023

应用监督对比学习可以减轻胸部 X 射线诊断中的偏见，解决深度学习诊断方法中的公平性和可靠性问题。

Jan, 2024

为了更好地描述胸部 X 光图像中的异常区域以提供诊断的准确性，本研究提出了一种对比注意力模型，将其应用于已有模型可以提高性能。该模型可帮助现有模型更好地关注异常区域，提供更准确的诊断描述，并在公共数据集上取得了最先进的结果。

Jun, 2021

使用眼动数据来辅助图像和文本特征的对齐，以减少对手动注释的依赖和降低培训成本。同时，探讨了不同量的眼动数据对模型性能的影响，突显将此辅助数据整合到多模态预训练中的可行性和实用性。

Mar, 2024

通过引入内容和风格的解耦技术以及姿态注意力模块，利用 CT2X-GAN 方法，该研究提出了一种学习式的端到端合成 X 射线图像的方法，从而改善合成质量并使其更接近真实的 X 射线图像。

Apr, 2024

本文提出了一种基于多粒度跨模态对齐的框架，通过利用病理区域级别、实例级别和疾病级别上医学图像和放射学报告之间的自然语义一致性来学习泛化的医学视觉表征，实验结果表明，该方法在涵盖了图像分类、物体检测和语义分割等七个下游医疗图像任务上表现出稳定和卓越的性能。

Oct, 2022

本研究采用孪生网络对三个大型医学数据集上的胸部 X 光片进行异常检测，系统评估了不同数据增强方法对于自监督学习中所学表示质量和鲁棒性的影响，最终确定了一组能够在抗干扰性和泛化性上优于传统模型的最佳增强方法。

Jan, 2023