Aug, 2024

VisionUnite：一种增强临床知识的眼科视觉-语言基础模型

HTML
PDF
TL;DR本研究针对眼科领域诊断方法的不足，提出了VisionUnite，一种结合临床知识的眼科创新视觉-语言基础模型。通过在124万对图像-文本配对上进行预训练，并在MMFundus数据集上进行微调，该模型在多种临床场景中表现优异，诊断能力与初级眼科医生相当，标志着眼科诊断与医学教育的重要进展。
发现论文，激发创造
  • 自我监督的共同学习：对未加工的医疗影像和报告进行处理，实现放射学AI监督

    该研究介绍了一种适用于医学领域的自我监督视觉语言预训练模型Medical X-VL，展示该模型在医学领域的视觉语言任务中的超越性能，并证明了在新疾病诊断和监测人类错误等方面，Oversight AI具有广泛的应用潜力。

    Aug, 2022

  • OphGLM:基于指令与对话训练的眼科大型语言与视觉助手

    本文研究和构建了一个眼科大型多模型模型来进行眼科疾病评估和诊断，并通过病情相关知识数据和公开可用的实际医疗对话建立了一个新的眼科多模态指示和对话微调数据集。实验结果表明，该模型表现异常优秀，具有革命性的眼科临床应用潜力。

    Jun, 2023

  • 基于视网膜的基础语言-图像模型（FLAIR）：通过文本监督编码专业知识

    FLAIR是一个用于通用视网膜底层图像理解的预训练视觉语言模型，它整合了专家领域知识，具有强大的泛化能力和优于全面训练模型的性能，尤其在少样本情况下，FLAIR表现出色。

    Aug, 2023

  • VisionFM：一种面向综合眼科人工智能的多模态多任务视觉基础模型

    VisionFM是一个用340万张眼科图像预训练的基础模型，具有眼科疾病诊断、人工智能和合成数据等功能。

    Oct, 2023

  • EyeGPT: 大型语言模型的眼科助理

    通过三种优化策略，我们引入了专门设计用于眼科学的 EyeGPT，该模型的综合评估框架包括不同领域的眼科学数据集、不同用户和多样化的查询意图。该模型在可理解性、可信度和同理心方面与人类眼科医生相当，为开发专门的大型语言模型在眼科学中提供了有价值的见解。

    Feb, 2024

  • 眼泰: 一种用于眼科成像的多模式通用基础模型

    EyeFound是一种多模态基础模型，通过学习无标签的多模态视网膜图像，能够有效地适应多个应用程序，并在诊断眼疾、预测全身性疾病事件和多模态问答等方面超越了先前的工作RETFound，提供了一个通用的解决方案，提高了模型性能，减轻了专家的标注负担，并促进了广泛的临床人工智能应用。

    May, 2024

  • RET-CLIP: 一种用临床诊断报告进行预训练的视网膜图像基准模型

    本文开发了一种 CLIP 风格的视网膜图像基础模型 RET-CLIP，该模型在193,865名患者的数据集上进行特训，能够在四个关键的诊断类别中优于现有基准，包括糖尿病视网膜病变，青光眼，多疾病诊断和多疾病的多标签分类。

    May, 2024

  • 临床眼科的专业视觉语言模型

    基于图像和语言的模型（VLMs）在处理眼底照片的疾病分期和患者转诊方面表现出比基础 VLMs 更高的性能，并且与初级眼科医生的诊断性能相当，这证明了我们基于课程设置的方法为使基础 VLMs 专门处理真实世界的临床任务提供了一个指南。

    Jul, 2024

  • EyeCLIP：用于多模态眼科图像分析的视觉语言基础模型

    本研究解决了单一模态眼科基础模型在多模态眼病诊断中的局限性，提出了EyeCLIP作为新的视觉语言基础模型，利用277万幅多模态眼科图像和部分文本数据进行预训练。EyeCLIP在多个基准数据集上的评估表明，其在疾病分类、视觉问答和跨模态检索中表现出色，尤其在长尾场景下具备少量样本甚至零样本能力，显示出显著的临床应用潜力。

    Sep, 2024

  • EyeCLIP：用于多模态眼科图像分析的视觉语言基础模型

    本研究针对现有眼科基础模型多集中于单一模态的问题，提出了一种新的视觉语言基础模型EyeCLIP，通过结合超过277万的多模态眼科图像与部分文本数据，采用预训练策略有效整合多模态信息。EyeCLIP在多个基准数据集上验证了其在疾病分类、视觉问答及跨模态检索等任务中的先进表现，特别是在少样本甚至零样本学习中展现了显著优势。

    Sep, 2024