May, 2024

微型深度集成：通过共享权重对标准化层进行集成以实现边缘 AI 加速器中的不确定性估计

PDF
TL;DR本文提出了一种适用于边缘设备的低成本方法 ——Tiny-Deep Ensemble 方法，用于不确定性估计。该方法通过进行多次归一化层集成而不需要额外的存储空间和延迟，从而显著降低了存储需求和延迟，同时保持了与单模型相近的内存开销，并在各种基准数据集、任务和最先进的架构中提高了推理准确性。
artificial intelligenceuncertainty estimationfunctional safetytiny-deep ensemble approachedge devices
发现论文，激发创造
  • 图像分类快速不确定性估计的深度子整体方法

    该论文提出了一种名为深度子集合（Deep Sub-Ensembles）的方法，通过仅对接近输出层的层进行集成，从而近似获得深度集合（Deep Ensembles）的模型不确定性， 在减少计算负担的同时，控制了误差和 NLL 的变化，来实现在误差和不确定性精度和计算性能之间的权衡。

    Oct, 2019

  • 使用引导权重的深度学习中的稀疏不确定性表示

    本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

    May, 2021

  • 基于视窗的早期退出级联用于不确定性估计：当深度集成优于单一模型

    本文研究了将 Deep Ensembles 方法扩展到与不确定性评估相关的任务，提出了一种在接近二元决策边界的窗口内传递样本以实现早期退出的新方法，并发现级联 / 集成模型在 OOD 数据上比模型扩展更可靠。

    Mar, 2023

  • 深度学习全景分割中的不确定性估计

    探讨如何将集成学习不确定性估计方法应用于全景分割领域，以提高现有网络的性能并为其预测结果提供更好的不确定性度量。

    Apr, 2023

  • 深度学习中领域内不确定性估计和集成的陷阱

    本研究重点研究针对图像分类的领域内不确定性的计量标准诸如 DEE 等并探究了深度学习集成技术，指出了现有指标的缺点并避免了这些缺点，对不同的集成技术进行了深入的研究，发现许多复杂的集成技术在测试性能方面等价于仅仅独立地训练数个网络的集成。

    Feb, 2020

  • Masksembles 用于不确定性估计

    本文介绍了一种新的深度学习模型 ——Masksembles，它是 Deep Ensembles 和 MC-Dropout 的结合体，通过固定数量的二元掩码，控制模型之间的相关性，以较小的代价实现与 Ensembles 相当的性能。

    Dec, 2020

  • 评估不确定性估计方法在点云三维语义分割上的表现

    本研究评估了三种不确定性量化方法，即深度集成，MC-Dropout 和 MC-DropConnect 在 DarkNet21Seg 3D 语义分割模型上的影响，并全面分析了各种参数对任务性能和不确定性估计质量的影响。研究发现，深度集成的表现在性能和不确定性度量方面优于其他方法，mIOU 提高了 2.4％，准确度提高了 1.3％，并提供可靠的不确定性来做出决策。

    Jul, 2020

  • 使用深度集成实现简单且可扩展的预测不确定性估计

    本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

    Dec, 2016

  • 神经集成搜索用于不确定性估计和数据集偏移

    本文提出两种构建神经网络集合的方法，使用不同的体系结构，以细化预测结果并利用架构变化作为集合的差异性的来源，并在多个分类任务和现代架构搜索空间方面表现优于深度集成。

    Jun, 2020

  • 评估可扩展的贝叶斯深度学习方法在稳健计算机视觉中的应用

    该论文提出了一种深度学习可扩展的确定性和不确定性评估框架，并对两种最先进的可扩展方法进行了比较，即集成和 MC-dropout，结果表明集成方法提供更可靠和实用的不确定性估计。

    Jun, 2019