May, 2023

GazeGNN: 一种用于疾病分类的注视导向图神经网络

PDF
TL;DR本文中提出了一种新的注视引导的图神经网络（GazeGNN），用于对医学扫描进行疾病分类，该方法不需要将目光信息转换为视觉注意力图；该方法在公共胸部 X-ray 数据集上实验，相较于现有方法，本方法取得了最佳分类性能。
eye-trackingmedical image analysisgaze-guided graph neural networkdisease classificationend-to-end algorithm
发现论文，激发创造
  • 用于减轻医学图像中的捷径学习的注视导向视觉 GNN

    本研究提出了一种新颖的注视导向视觉图神经网络（称为 GD-ViG），通过利用注视的视觉模式将网络引导到与疾病相关的区域，并从而减轻了快捷学习。该网络在医学图像分析中取得了优异的表现，比最新的方法更有效地减少了快捷学习问题。

    Jun, 2024

  • 使用卷积神经网络进行实时眼球注视方向分类

    提出实时框架及卷积神经网络用于分类人眼凝视方向和评估眼部访问线索，并使用改进的 Viola-Jones 算法检测人脸，通过几何关系和面部特征点得到眼部区域，并进行逐帧测试以获得平均帧速率 24fps，结果显示其优于现有方法。

    May, 2016

  • 基于自适应门控图卷积网络的脑电数据可解释诊断阿尔茨海默病

    本研究提出了一种使用自适应闸门图卷积网络病诊断的方法，基于脑功能连通性图结构和节点特征增强的卷积方法，实现了对阿尔茨海默病患者的较高精确度预测，并提供了说明预测的一致解释的可能，有助于进一步研究 AD 相关的大脑网络变化。

    Apr, 2023

  • 利用凝视进行对比学习以促进计算机辅助诊断

    通过眼动追踪作为替代文本报告的方法，我们可以 passively 收集放射科医师在阅读和诊断医学图像时的视觉关注和临床推理，从而在医学图像领域中改善对比度预训练的有效性。我们提出了医学对比度视线图像预训练（McGIP）作为对比度学习框架的即插即用模块，通过放射科医师的注视来指导对比度预训练，实验结果表明了 McGIP 的实用性，显示其在各种临床场景和应用中具有很高的潜力。

    Dec, 2023

  • 紧凑而强大：利用图神经网络和边缘卷积进行医学图像分类

    我们研究了基于图神经网络的医学图像分类的潜力。我们提出了一种将图神经网络与边缘卷积相结合的新模型，利用 RGB 通道特征值的相互连接来强烈表示关键图节点之间的联系。我们的模型在 MedMNIST 数据集的分类中表现出色，并与现有的深度神经网络相比，参数少 1000 倍，训练时间和数据需求减少。我们的结果鼓励进一步探索医学影像领域中的其他图神经网络模型。

    Jul, 2023

  • 计算机视觉中的图神经网络 —— 架构、数据集和常见方法

    该研究整理并总结了关于应用于计算机视觉的基于图神经网络（GNNs）及其派生物（如 GAT、GCN 和 GRN）的方法的论文，从网络结构、数据集、以及与其他领域的关联等三个方面进行了详细阐述。

    Dec, 2022

  • 利用外貌和形状线索的 3D 凝视估计的循环卷积神经网络

    本论文使用多模态卷积神经网络在远程摄像机中完成了独立于人物和头部姿态的三维凝视估计。通过将人脸，眼睛区域和面部标志作为神经网络中的单个流来估计静态图像中的凝视。随后，利用凝视的动态特性，将所有帧的学习特征馈送到多到一循环模块，以预测最后一帧的三维凝视向量，其在多种头部姿态和凝视方向上获得了显著的改进。

    May, 2018

  • SurGNN：使用图神经网络解释性视觉场景理解与外科技能评估

    该论文研究了图神经网络如何增强视觉场景理解和手术技能评估，通过使用图神经网络分析以图形结构表示的手术过程的复杂视觉数据，可以提取相关特征并预测手术技能。此外，图神经网络提供可解释的结果，揭示了对预测技能指标有贡献的具体行动、仪器或解剖结构，这对于手术教育者和学员非常有益，因为它提供了成功手术表现和结果的重要见解。SurGNN 提出了两种并行的方法 - 一种是有监督的，另一种是自监督的。文中还简要讨论了其他自动化手术技能评估技术，并强调手工设计特征在捕捉手术专长的细微差别方面的局限性。我们使用所提出的方法在 EndoVis19 和自定义数据集上达到了最先进的结果。代码的工作实现可以在此 https URL 找到。

    Aug, 2023

  • 当眼动追踪遇上机器学习：医学图像分析中的应用综述

    利用眼球追踪技术提取医学图像中有意义的特征和洞察力，以改进医疗诊断的方法。通过整合人类认知和人工智能发展，将眼球追踪数据与机器学习和深度学习方法相结合，提高医学图像分析的准确性和效率。该系统性综述研究着眼于探索通过眼球追踪应用和方法来增强医学图像分析中的机器学习和深度学习算法。

    Mar, 2024

  • 基于图神经网络的单细胞数据方法：最近的综述

    图神经网络是通过揭示基因和细胞之间的深层连接来重塑我们对生物医学和疾病的理解。本文总结了过去几年针对单细胞数据量身定制的图神经网络方法，并强调了以图注意力网络为中心的多样化图深度学习架构及其在单细胞数据上的几个目标，包括细胞类型注释、数据整合和插补、基因调控网络重建、聚类等。预计在生物医学领域中，随着不断产生的大规模组学数据和细胞与基因之间的相互关联性加强，图神经网络将成为单细胞分析工作的核心。

    Oct, 2023