Jan, 2022

SoftDropConnect (SDC) -- 深度 MR 图像分析中网络不确定性的有效和高效量化

PDF
TL;DR本文提出了一种新的贝叶斯推理方法 SoftDropConnect（SDC），该方法适用于医学图像任务中的神经网络不确定性，并将其与其他三种常用的贝叶斯推理方法 Bayes By Backprop、Dropout 和 DropConnect 进行了比较。结果表明，SDC-W 方法在肿瘤分割和转移灶分类任务准确率上的表现比其他三种方法高出很大一部分，并显著降低了推理过程中的双重不确定性，从而有望改善诊断表现并使医学 AI 图像更可靠。
发现论文，激发创造
  • DropConnect 在建模贝叶斯深度网络不确定性方面非常有效

    本研究提出了一种名为 MC-DropConnect 的方法，通过给神经网络权重施加伯努利分布来近似 Bayesian 推断，从而在不改变基础结构或增加计算成本的情况下表示模型的不确定性，并用新的指标来量化不确定性的估计。实验证明，该框架相较于现有的技术，在预测准确性和不确定性估计质量方面均有显著提高。

    Jun, 2019

  • 探索深度网络中的不确定性度量以用于多发性硬化症病变检测和分割

    研究探索了在深度神经网络中基于蒙特卡罗 Dropout 的多种不确定性估计方法，提供了四种不同的体素级别的不确定性度量，可用于医学图像中的病变检测和分割。经实验结果表明，使用不确定性度量能够比仅使用网络的 Sigmoid 输出作为概率选择更好的操作点。

    Aug, 2018

  • 评估不确定性估计方法在点云三维语义分割上的表现

    本研究评估了三种不确定性量化方法，即深度集成，MC-Dropout 和 MC-DropConnect 在 DarkNet21Seg 3D 语义分割模型上的影响，并全面分析了各种参数对任务性能和不确定性估计质量的影响。研究发现，深度集成的表现在性能和不确定性度量方面优于其他方法，mIOU 提高了 2.4％，准确度提高了 1.3％，并提供可靠的不确定性来做出决策。

    Jul, 2020

  • 规模 - 丢弃：使用随机规模估计深度神经网络中的不确定性

    在本论文中，我们提出了一种用于二元神经网络（BNNs）的新型正则化技术 —— 比例 Dropout（Scale Dropout），以及基于蒙特卡罗比例 Dropout（MC-Scale Dropout）的 Bayesian NNs，用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存（CIM）架构，相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法，结果显示相对于相关工作，我们的方法在预测性能上有 1% 的改进，并提供了更优的不确定性估计。

    Nov, 2023

  • 基于卷积神经网络的贝叶斯图像质量转换：探索扩散磁共振成像超分辨率模糊度

    本文研究了使用卷积神经网络（CNN）进行三维重建的不确定性建模的价值。通过采用每个补丁的异方差噪声模型和近似贝叶斯推理的参数不确定性，作者展示了这两者联合起来可以带来最先进的扩散 MR 脑图像三维重建性能。该方法的概率特性为超解析的输出提供了一种自然的量化不确定性的机制，并通过对健康和病态大脑的实验证明了这种不确定性的重要性。

    May, 2017

  • SDE-Net：为深度神经网络提供不确定性估计

    我们提出了一种基于随机动态系统视角的量化深度神经网络不确定性的新方法，即神经随机微分方程模型 (SDE-Net)，并证明了其存在唯一解的性质，实验证明该模型在不确定性占据重要角色的一系列任务中优于现有的不确定性估计方法。

    Aug, 2020

  • 评估基于深度学习模型使用不确定性分数进行前列腺癌分割的性能

    比较深度学习方法在 MRI 图像前列腺分割中的不确定性分割和量化，以改善前列腺癌的检测和诊断工作流程。使用七种不同的基于 U-Net 的架构，通过 Monte-Carlo 丢失功能进行评估，自动分割中央区域、周围区域、转换区域和肿瘤，并进行不确定性估计。本研究中最佳模型为 Attention R2U-Net，在分割所有区域时，平均交并比（IoU）达到 76.3%，Dice 相似系数（DSC）达到 85%。此外，Attention R2U-Net 在边界不确定性方面表现出最低值，特别是在转换区和肿瘤区域。

    Aug, 2023

  • 基于 MC-dropout 的脉冲神经网络高效不确定性估计

    提出了一种基于时间步机制和 Monte Carlo-Dropout 的 Spiking neural networks 不确定性估计方法，该方法在实现高精度和不确定质量的同时，不会在训练和推断过程中引入显著的额外开销，适用于能源高效应用。

    Apr, 2023

  • 单次 MC Dropout 近似

    该研究旨在通过一种单次 MC 退火的方法来提高贝叶斯变体深度神经网络的测试时间，同时保持不确定性测量的优点。经过基准测试和模拟游戏等方面的验证，该方法能够在实时部署 BDNNs 时实现预测分布的点估计和不确定性估计。

    Jul, 2020

  • 稀疏贝叶斯网络：医学图像分析中高效的不确定性量化

    通过选择性地通过梯度敏感性分析评估确定性显著性，本研究引入了对稀疏（部分）贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合，充分利用两种表示的优点，实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类和 ISIC、LIDC-IDRI 分割任务上表现出了有竞争力的性能和预测不确定性估计，相比完全贝叶斯化和集合方法，能够显著减少 95% 以上贝叶斯参数，从而大大降低计算开销。

    Jun, 2024