Mar, 2024

自我监督的多模态注意力融合下的三维患者建模

PDF
TL;DR通过提出一种通用模块化的三维患者建模方法，即多模式关键点检测模块与自监督三维网格回归模块的结合，在实际临床场景中实现了改善关键点定位的稳健性和概括性，并取得了优越的患者定位性能。
3d patient body modelingautomated patient positioningcnn-based end-to-end patient modeling solutionsmulti-modal keypoint detection moduleself-supervised 3d mesh regression module
发现论文，激发创造
  • 三维医学图像融合与可变形交叉注意力

    创新的无监督特征互学习融合网络用于融合三维磁共振成像（MRI）和正电子发射断层成像（PET）图像，提高医生和研究人员的信息获取能力，并在性能度量方面优于传统二维图像融合方法。

    Oct, 2023

  • 自我监督多模态全身医学影像对齐

    本文探讨在医学成像中使用自监督深度学习的应用，特别是在存在两种扫描模式的同一主体的情况下。通过使用来自英国生物库的超过 20,000 个主体的完整身体迪克森技术磁共振（MR）扫描和双能 X 射线吸收计量（DXA）扫描的大型公开数据集，作者提出了一种针对多模式图像匹配对比框架，并且可以在没有监督的情况下执行自动跨模式扫描配准。最后，作者使用这些配准将 DXA 扫描的分割图传输到 MR 扫描中，在不需要地面真实 MR 样本的情况下，训练可以分割解剖区域的网络。

    Jul, 2021

  • 通过投影网络对具有异构维度的数据进行深度多模态融合

    本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

    Feb, 2024

  • 无监督跨模态对齐用于多人三维姿态估计

    通过使用新颖的神经表示，我们提出了一种部署友好的、快速的自下而上的多人三维人体姿态估计框架；进一步，我们基于跨模态的对齐问题，提出了一种实用的部署范式，使得我们的模型不仅能够处理现实世界的图像，而且在速度与性能之间实现了更好的平衡。

    Aug, 2020

  • 医学影像的 3D 自监督方法

    本文提出了针对五种不同的自监督学习方法的三维版本，利用这些技术进行神经网络特征的学习，通过对三维图像的预处理，显著提高语义表示的精确性，从而在医学成像领域实现了数据效率、性能和收敛速度的提升，具有较高的竞争力和可扩展性。

    Jun, 2020

  • 外观一致性驱动的自监督人体 Mesh 恢复

    该论文提出了一种无需成对指导下从单眼图像中推断人体姿态和形状的自我监督的人类网格恢复框架，具有较强的鲁棒性和良好的通用性。

    Aug, 2020

  • 多模态非刚性三维形状匹配的自监督学习

    通过将基于网格的功能映射正则化与连续损失相结合的自监督多模态学习策略相结合，我们提出了一种形状匹配方法，它能够针对三角形网格、完整点云和部分观测点云获得同模式和跨模态的对应关系，并在多个基准数据集上取得了最先进的结果，具有先前未见的跨数据集普适性。

    Mar, 2023

  • 一个神经网络进行全局的医学三维图像分割系统：一种通用的轻量级准确分割系统

    研究介绍了一个简单而彻底评估的深度学习框架，应用于任意医学图像体的分割，同时不需要任务特定的信息和人为干预。该系统基于一个固定的模型拓扑和固定的超参数集，排除了模型选择的过程和方法级别的过拟合。此外，使用多平面数据增强，结合了一个基于常见 U-Net 的 2D 架构，让 2D 模型学习表示 3D 图像体的表示方法，从而提高了泛化性能。

    Nov, 2019

  • 从部分观察中获取全身意识

    本文提出了一种简单而高效的自学习框架，以适应消费视频数据的人体三维网格恢复系统，并在此基础上进行 13K 帧的评估以及对任务的关键点注释，结果显示我们的方法在测试视频上具有较高的准确性和人为判断水平。

    Aug, 2020

  • 一种新的集成学习框架用于三维生物医学图像分割

    提出了一种新的集成学习框架，其结合了 2D 和 3D 模型的优点，通过全卷积网络基于元学习器来提高 2D 和 3D 模型的结果，实现了在完全监督、半监督和转导设置下，相对于最先进的图像分割方法，取得了优越的性能。

    Dec, 2018