Dec, 2020

Masksembles 用于不确定性估计

PDF
TL;DR本文介绍了一种新的深度学习模型 ——Masksembles，它是 Deep Ensembles 和 MC-Dropout 的结合体，通过固定数量的二元掩码，控制模型之间的相关性，以较小的代价实现与 Ensembles 相当的性能。
deep ensemblesmc-dropoutmasksemblesuncertainty estimatesneural networks
发现论文，激发创造
  • 深度学习全景分割中的不确定性估计

    探讨如何将集成学习不确定性估计方法应用于全景分割领域，以提高现有网络的性能并为其预测结果提供更好的不确定性度量。

    Apr, 2023

  • 评估不确定性估计方法在点云三维语义分割上的表现

    本研究评估了三种不确定性量化方法，即深度集成，MC-Dropout 和 MC-DropConnect 在 DarkNet21Seg 3D 语义分割模型上的影响，并全面分析了各种参数对任务性能和不确定性估计质量的影响。研究发现，深度集成的表现在性能和不确定性度量方面优于其他方法，mIOU 提高了 2.4％，准确度提高了 1.3％，并提供可靠的不确定性来做出决策。

    Jul, 2020

  • 微型深度集成：通过共享权重对标准化层进行集成以实现边缘 AI 加速器中的不确定性估计

    本文提出了一种适用于边缘设备的低成本方法 ——Tiny-Deep Ensemble 方法，用于不确定性估计。该方法通过进行多次归一化层集成而不需要额外的存储空间和延迟，从而显著降低了存储需求和延迟，同时保持了与单模型相近的内存开销，并在各种基准数据集、任务和最先进的架构中提高了推理准确性。

    May, 2024

  • 图像分类快速不确定性估计的深度子整体方法

    该论文提出了一种名为深度子集合（Deep Sub-Ensembles）的方法，通过仅对接近输出层的层进行集成，从而近似获得深度集合（Deep Ensembles）的模型不确定性， 在减少计算负担的同时，控制了误差和 NLL 的变化，来实现在误差和不确定性精度和计算性能之间的权衡。

    Oct, 2019

  • 基于视窗的早期退出级联用于不确定性估计：当深度集成优于单一模型

    本文研究了将 Deep Ensembles 方法扩展到与不确定性评估相关的任务，提出了一种在接近二元决策边界的窗口内传递样本以实现早期退出的新方法，并发现级联 / 集成模型在 OOD 数据上比模型扩展更可靠。

    Mar, 2023

  • 基于采样的实例分割网络不确定性估计

    本文探究机器学习模型预测不确定性模拟的一种技术 Monte-Carlo Dropout 的聚类方法，并使用贝叶斯高斯混合模型来解决效率问题。同时研究了不同的 dropout rate，focal loss 和标度等技术，并将它们整合到 Mask-RCNN 模型中，以获得每个实例最准确的不确定性估计并进行图形展示。

    May, 2023

  • 多重随机掩蔽自编码器集成的鲁棒多模态半监督学习

    计算机视觉和机器学习中存在越来越多的现实世界问题，需要考虑到世界的多个解释层次（模态或视角），并学习它们的相互关系。

    Feb, 2024

  • 神经集成搜索用于不确定性估计和数据集偏移

    本文提出两种构建神经网络集合的方法，使用不同的体系结构，以细化预测结果并利用架构变化作为集合的差异性的来源，并在多个分类任务和现代架构搜索空间方面表现优于深度集成。

    Jun, 2020

  • 用预训练神经网络集成进行透射电子显微图像分割和质量检测

    本专业研究了机器学习在电子显微数据集分析中的应用问题，因为这种类型的数据集具有许多挑战，包括训练数据集大小限制、试样质量及实验条件的变化等。研究发现，使用 EA 方案的集合设计比 ER 方式更适合处理这些问题，因为 EA 表现出更好的分类精度和更好的校准性，而这两种集合的不确定性量化相当。

    Sep, 2022

  • 随机集成的贝叶斯后验近似

    本文介绍了一种基于 Monte Carlo dropout、DropConnect 和一种新的非参数 dropout 的随机神经网络集成方法，通过变分推断将随机集合形式化为分布族，并训练以近似贝叶斯后验，我们在玩具问题和 CIFAR 图像分类上进行评估，结果表明随机集成相对于贝叶斯推断的其他流行基线提供了更准确的后验估计。

    Dec, 2022