Nov, 2018

深度概率集成在大规模视觉主动学习中的应用

PDF
TL;DR本论文介绍了一种基于 Deep Probabilistic Ensembles 的可扩展方法，该方法使用一个规则化的集合来近似 deep BNN。我们对大规模的视觉主动学习实验进行了一系列研究并在 CIFAR-10，CIFAR-100 和 ImageNet 数据集，以及 BDD100k 数据集上进行了语义分割的评估。我们的模型需要更少的训练数据才能实现竞争性能，并随着注释预算的增加而稳步提高。
active learningbayesian neural networksdeep probabilistic ensemblesvisual active learninglarge-scale problems
发现论文，激发创造
  • 贝叶斯神经网络在主动学习中的有效性

    本文研究使用贝叶斯神经网络进行主动学习，相较于集成技术更能有效地捕捉不确定性，拥有更好的模型效果，同时还揭示了集成技术的一些关键缺陷。

    Apr, 2021

  • 使用深度集成实现简单且可扩展的预测不确定性估计

    本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

    Dec, 2016

  • 深度集成贝叶斯主动学习：通过集成解决蒙特卡罗失活的模式崩溃问题

    提出一个基于集成学习方法的新型主动学习策略，命名为 DEBAL，以解决大规模有标签数据获取不易的问题，并在 MNIST 和 CIFAR-10 数据集上验证了其优越的分类性能。

    Nov, 2018

  • 集成主动学习的训练数据子集搜索

    本文提出使用大规模集成主动学习方法来扩展数据子集搜索，通过在数百个模型中重复使用中间训练检查点来实现。实验结果表明，优化训练数据分布可以对大规模视觉任务带来显著的益处。

    May, 2019

  • 深度贝叶斯主动半监督学习

    通过半监督深度学习与主动学习相结合的方法，使用尽可能少的标记样本，同时利用熵最小化对未标记样本进行训练，在 MNIST 数据集上仅使用 300 个标记样本实现 2.06% 的误差率和 1000 个标记样本实现 1.06% 的误差率。该方法可以获得高准确性的敏捷标注过程，同时节省标记成本。

    Mar, 2018

  • 模型合成中的多样性诱导信息瓶颈

    本文提出了基于多样性损失函数的神经网络集成方法，以适应多模态数据的建模，并证明了其在数据分布变化和识别未知数据方面的显著性能提升。

    Mar, 2020

  • 自然语言处理的深度贝叶斯主动学习：一项大规模实证研究结果

    本篇论文就深度主动学习进行了大规模实证研究，针对多种任务和数据集、模型以及获取函数，证实贝叶斯主动学习方法在许多方面都优于传统的不确定性采样方法。

    Aug, 2018

  • 通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

    SNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。

    Jun, 2020

  • 高效不确定性评估的紧凑集成

    通过使用 Packed-Ensembles 策略，增加结构性的轻型集合并使用分组卷积来提高训练和推理速度，以实现在标准神经网络的内存限制下的操作，从而保留 Deep Ensembles 的性质并在准确性，校准性，分布偏移的鲁棒性方面表现同样出色。

    Oct, 2022

  • 贝叶斯生成主动深度学习

    本文提出一种贝叶斯生成主动深度学习方法，将主动学习与数据增强相结合，通过在 MNIST、CIFAR-10/100 和 SVHN 数据集上进行训练和分类实验证明，此方法具有更高效的训练和更好的分类结果。

    Apr, 2019