ECCVJul, 2024

SparseSSP: 从稀疏视角传递光图像预测三维亚细胞结构

PDF
TL;DR传统的荧光染色对活细胞具有光毒性，操作速度慢且昂贵；因此，从透射光图像中预测细胞亚结构成为一种无标记、更快速、低成本的替代方法。本文提出了一种高效的框架 SparseSSP，通过对目标体素网格内的荧光强度进行预测，在效率上取得了突破，而非完全依赖于 3D 拓扑结构。SparseSSP 引入了一对多体素映射的范式，允许稀疏的透射光切片重建细胞亚结构。其次，我们提出了一种混合维度拓扑结构，将 Z 轴信息折叠进通道特征中，使得 2D 网络层能够以较低的计算成本解决 SSP 问题。通过广泛的实验验证 SparseSSP 在不同的稀疏成像比率下的有效性和优势，与纯 3D 拓扑相比，该方法取得了领先的性能。SparseSSP 减少了之前密集观察的成像频率（即最多减少 87.5% 的成像次数），这在低成本设备和样本上可视化快速生物动态具有重要意义。
subcellular structure predictionlabel-freetransmitted light imagessparsesspsparse imaging ratios
发现论文，激发创造
  • 来自稀疏未分割图像的概率三维对应预测

    通过分析解剖结构的形态来研究生理学，统计形态建模是一种用于定量解析解剖结构形态差异的工具。然而，传统的形态建模方法复杂耗时，线性假设限制了模型的应用范围。最新的深度学习技术能够直接从未分割的医学影像中推断统计形态模型，简化了流程并提升了可用性。然而，现有的图像建模方法在数据质量较差或仅有稀疏信息的情况下不足够有效。因此，我们提出了 SPI-CorrNet，一种从稀疏影像数据中预测三维对应关系的统一模型。通过引入教师网络进行特征学习和适应输入方差预测来量化数据相关的不确定性。实验结果表明，我们的技术提高了稀疏图像驱动的统计形态建模的准确性和稳健性。

    Jul, 2024

  • RepMode: 学习重新参数化多样化专家用于亚细胞结构预测

    该研究提出了一种基于深度学习的亚细胞结构预测模型（SSP），并使用 Re-parameterizing Mixture-of-Diverse-Experts（RepMode）来处理具有多尺度问题和部分标签数据的预测任务，以实现在 3D 成像中对多个亚细胞结构预测的高效和准确性。

    Dec, 2022

  • 三维物体重建的层级表面预测

    提出了一种称为分层表面预测 (HSP) 的通用框架，利用卷积神经网络实现准确预测高分辨率的体素网格，可以用于从彩色图像、深度图像和部分体素网格恢复物体形状。

    Apr, 2017

  • VoxGRAF: 基于稀疏体素网格的快速 3D 感知图像合成

    利用稀疏像素网格表示快速且三维一致地进行生成建模，通过融合渐进式生长、自由空间修剪和适当的正则化方法将单块的 MLPs 替换成三维卷积，实现对具有高视觉保真度的三维场景的高效渲染。

    Jun, 2022

  • Sparse3D：基于稀疏视角的多视点一致性扩散物体重建

    Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。

    Aug, 2023

  • 基于稀疏性的 STORM 超分辨率图像背景去除

    一种基于稀疏性的背景去除方法通过使用来自不同显微镜领域的神经网络（SLNet）计算图像的低秩表示，并从原始图像中减去它，从而计算出不带背景的稀疏成分，该方法在比较常用的背景去除方法上实现了更少背景的 STORM 帧，提高了荧光发射体的定位精度和高分辨率图像的重构。

    Jan, 2024

  • 使用稀疏点 - 体卷积搜索高效的 3D 架构

    提出了一种轻量级的 Sparse Point-Voxel Convolution 模块作为基础，通过基于 SPVConv 的灵活体系结构设计空间，实现了 3D Neural Architecture Search 以搜索高效而有效的网络体系结构，并将该方法应用于自动驾驶和 3D 目标检测领域，取得了较好的实验结果。

    Jul, 2020

  • 动态结构语义传播网络

    本文提出了一种动态结构语义传播网络 (DSSPN)，利用语义概念层次结构来构建语义神经元图，并通过神经元图的子图激活方式以及密集的语义增强神经块来优化语义分割性能。

    Mar, 2018

  • 一种弱监督分段网络嵌入了跨尺度注意引导和对胰腺肿瘤的噪声敏感约束用于检测胰腺肿瘤的第三淋巴结结构

    通过提出一种弱监督分割网络，本研究旨在通过少样本学习的方式检测胰腺病理图像上的淋巴结密度结构（TLSs），并在两个收集的数据集上的实验结果表明，该方法在 TLSs 检测准确性方面显著优于最先进的基于分割的算法。

    Jul, 2023

  • SparseOcc（稀疏隐含表示）：重新考虑基于视觉的语义占用预测

    提出了 SparseOcc，一种受稀疏点云处理启发的高效占据网络，利用了无损稀疏潜在表示的三个关键创新。通过空间分解的 3D 稀疏卷积核执行潜在补全的 3D 稀疏扩散器；通过特征金字塔和稀疏插值从其他尺度获取信息；将 Transformer 头改造为稀疏变种。SparseOcc 在 FLOP 上实现了惊人的 74.9% 减少，同时在精确度上有所提高。

    Apr, 2024