Dec, 2022

NRTR: 三维光学显微镜下的神经元重建

PDF
TL;DR提出了一种名为 NRTR 的神经元重建变压器，它不需要复杂的基于规则的组件，将神经元重建视为直接的集合预测问题，是第一个用于端到端神经元重建的图像到集合的深度学习模型，并在实验中取得了出色的成果，证明了将神经元重建视为集合预测问题的有效性，使得端到端模型训练成为可能。
neuron reconstructiondeep learningimage-to-set modelend-to-endmodel training
发现论文，激发创造
  • 使用在自然图像上预训练的 2D 视觉 Transformer 增强 3D 神经元分割

    通过在大规模自然图像上预训练的 2D 视觉 Transformer 模型，初始化基于 Transformer 的 3D 神经元分割模型，建立了丰富的自然图像与稀有神经元图像之间的知识共享连接，以提高 3D 神经元分割的效能。

    May, 2024

  • 3D-RETR: 使用 Transformer 进行端到端的单 / 多视角三维重构

    本文提出了一种名为 3D-RETR 的方法，它可以使用 Transformer 执行端到端 3D 重建，实现从单个视角或多个视角的 3D 重建，并且在两个数据集上获得了最先进的性能表现。

    Oct, 2021

  • 可推广神经表面重建中的渲染思考：基于学习的解决方案

    本研究介绍了一种利用 Transformer 架构将重建过程重新设计的新框架，名为 Reconstruction TRansformer（ReTR），其增强了光子与表面交互建模，同时通过在高维特征空间操作（而非颜色空间），缓解了源视角中投影颜色的敏感性，从而实现了高精度、高置信度的表面评估。

    May, 2023

  • NRTR：一种无循环的序列到序列模型，用于场景文本识别

    本文提出了一种新的无循环序列到序列文本识别器（NRTR），并采用自注意力机制代替基于循环或卷积的网络，使用模态转换块将 2D 输入图像有效转化为 1D 序列以提取更判别性的特征，这使得 NRTR 在常规和非常规基准测试上均取得了最新的或者竞争性的性能，并相较于目前最佳的模型少至少 8 倍的训练时间。

    Jun, 2018

  • 大规模电子显微镜成像神经元过程的自动重建

    自动样品制备和电子显微镜使得大规模图像数据采集成为可能，基于此，本文提出了一种 pipeline 系统，通过结合随机森林分类和条件随机场框架，能够完成大规模电子显微镜数据的分割和自动化标注，从而实现了大规模 3D 神经元的重建和可视化。

    Mar, 2013

  • GTR：通过几何和纹理细化改进大型三维重建模型

    我们提出了一种新的方法，从多视角图像中进行 3D 网格重建。我们的方法借鉴了像 LRM 这样的大型重建模型，使用了基于 Transformer 的三面体生成器和在多视角图像上进行训练的神经辐射场（NeRF）模型。然而，在我们的方法中，我们引入了一些重要的修改，以显著提高 3D 重建质量。

    Jun, 2024

  • 使用 Transformer 进行体素级别视角选择和融合的体积式 3D 重建

    通过学习条件于相机姿态和图像内容的视图融合功能，利用变压器提出端到端体积三维重建网络 VoRTX，其模型鲁棒性强，处理视角多样，能保留更多的细节信息，比现有最先进方法更出色。

    Dec, 2021

  • 使用视觉 Transformer 进行高效的 3D 物体重建

    使用视觉 transformer 替代卷积在现有的高效，高性能的 3D 目标重建技术中，预测三维结构并取得类似或优于基线方法的准确度，表明视觉 transformer 在三维目标重建任务中有着巨大的潜力。

    Feb, 2023

  • UNETR: 用于 3D 医学图像分割的变压器

    本篇论文介绍了一种新的 UNETR 架构，通过使用 Transformer 作为编码器，可以捕捉更长程的空间依赖性，同时保持 “U 形” 的网络设计。实验证明，在多个数据集上，该方法在多器官分割任务上取得了最新的最优性能。

    Mar, 2021

  • 学习大规模神经元追踪的多模态体数据特征

    通过构建 FlyTracing 数据集和引入连接感知对比学习方法，本研究旨在降低人工工作量，减少电子显微镜数据中自动图像分割后的人工校对过程，并提出了一种有效的自动神经追踪方法。

    Jan, 2024