Apr, 2023

视频预训练推进胸部 CT 任务的 3D 深度学习

PDF
TL;DR本研究探讨了自然视频的预训练在 3D 医学任务的小型数据集上是否能够提高性能，结果表明预训练对不同架构、任务和数据集大小的 3D 模型都有一致的效益，在 3D 医学任务中，将预训练从小规模内域迁移到大规模外域可以获得更好的性能。
pretraining3d modelsmedical imagingvideo pretrainingkinetics dataset
发现论文，激发创造
  • Med3D：三维医学影像分析的迁移学习

    本研究为培训深度学习算法所需数据量的问题提出了一种解决方案，通过建立医学图像分割数据集和使用 Med3D 进行多域协同训练，可以加速涉及 3D 医学图像的任务的训练收敛速度和提高准确度。

    Apr, 2019

  • 可解释的二维视觉模型用于三维医学数据

    本研究提出了一种简单的方法，使用 2D 网络和中间特征表示来处理 3D 数据，并使用特征减少模块进行分类，以解决在医学分类的基准测试和实际临床数据中训练成功受限的问题。

    Jul, 2023

  • 基于视频和合成 MRI 的三维视觉架构预训练用于神经影像分析

    通过对多种视觉架构进行基准测试，证明了预训练模型在新兴数据集上的初始化价值，使得这些预训练模型能够适应各种下游神经影像任务，即使目标任务的训练数据有限。

    Sep, 2023

  • 视网膜 OCT 高效预测模型的预训练 2.5D 深度模型

    在医学影像领域，3D 深度学习模型在构建疾病进展预测模型方面起着重要作用。然而，这些模型的规模在计算资源和数据需求方面带来了重大挑战。为了解决这些问题，2.5D 方法提供了一种有效的利用 3D 体积数据的方式。结合 2D 和 3D 技术为优化性能并降低内存需求提供了一条有前景的途径。在本文中，我们探索基于卷积神经网络（CNNs），长短期记忆（LSTM）和 Transformer 的 2.5D 架构。此外，利用近期的 2D 非对比性预训练方法，我们进一步提高了 2.5D 技术的性能和数据效率。我们在两个大型纵向光学相干断层扫描（OCT）数据集上展示了架构和相关预训练在预测湿性年龄相关性黄斑变性（AMD）的六个月内进展方面的有效性。

    Jul, 2023

  • 医学影像的 3D 自监督方法

    本文提出了针对五种不同的自监督学习方法的三维版本，利用这些技术进行神经网络特征的学习，通过对三维图像的预处理，显著提高语义表示的精确性，从而在医学成像领域实现了数据效率、性能和收敛速度的提升，具有较高的竞争力和可扩展性。

    Jun, 2020

  • 大规模数据集是否可以进一步增强时空三维卷积神经网络？

    在视频识别中，使用大规模视频数据集和 3D CNN 来改善空时 3D CNN 的性能。通过构建数据集和扩充视频数据集的方法，将网络深度增加到 200 层，并使用 ResNet，使 Kinetics-700 和混合数据集预训练模型的识别性能提高到 200 层，而 Kinetics-400 预训练模型无法成功优化 200 层的架构。

    Apr, 2020

  • Mask3D：通过学习掩码的 3D 先验知识预训练 2D 视觉 Transformer

    提出了一种名为 Mask3D 的预训练方法，可以将现有的大规模 RGB-D 数据应用于自监督预训练中，将 3D 先验嵌入到 2D 的学习特征中，并对多个场景理解任务产生了改进，尤其是语义分割。

    Feb, 2023

  • 跨领域边界探索迁移学习的实用性：为什么我的医学 AI 要查看鸟类图片？

    研究表明，在医疗和自然图像领域中使用自监督的数据预训练可以比在 ImageNet 上表现更好，其可取得可比或更好的效果并展示了基于领域边界的广义间隙和特定领域中学到的特征。

    Jun, 2023

  • 基于多视图表达学习的点云预训练

    本文提出了一种基于 2D network 预训练的点云 3D 预训练新方法，通过引入多视角一致性损失，可有效防止 3D 特征丢失并在 3D 检测和语义分割等任务中实现最先进的性能。

    Jun, 2023

  • 时空三维卷积神经网络能否重追二维卷积神经网络和 ImageNet 的历史？

    本研究旨在确定当前视频数据集是否有足够的数据来训练带有时空三维卷积核的非常深的卷积神经网络。我们研究了从相对浅的到非常深的各种三维卷积神经网络的架构，并得出结论：Kinetics 数据集具有训练深度三维卷积神经网络的足够数据，与 ImageNet 上的 2D ResNets 类似，ResNeXt-101 在 Kinetics 测试集上达到了 78.4％的平均准确率。预训练的简单 3D 架构优于复杂的 2D 架构，并且预训练的 ResNeXt-101 分别在 UCF-101 和 HMDB-51 上达到了 94.5％和 70.2％的准确率。我们相信，将深度 3D 卷积神经网络与 Kinetics 数据集结合使用，将重温 2D 卷积神经网络和 ImageNet 的故事，并促进视频计算机视觉的进步。

    Nov, 2017