贝叶斯神经网络在主动学习中的有效性
本篇论文就深度主动学习进行了大规模实证研究,针对多种任务和数据集、模型以及获取函数,证实贝叶斯主动学习方法在许多方面都优于传统的不确定性采样方法。
Aug, 2018
本论文介绍了一种基于 Deep Probabilistic Ensembles 的可扩展方法,该方法使用一个规则化的集合来近似 deep BNN。我们对大规模的视觉主动学习实验进行了一系列研究并在 CIFAR-10,CIFAR-100 和 ImageNet 数据集,以及 BDD100k 数据集上进行了语义分割的评估。我们的模型需要更少的训练数据才能实现竞争性能,并随着注释预算的增加而稳步提高。
Nov, 2018
本研究分析了当前主要的主动式学习技术中存在的主要缺点,并提出了缓解这些缺点的方法,包括使用部分不确定性采样和更大的查询大小加速主动式学习循环,并展示了开源贝叶斯主动式学习库 BaaL。
Jun, 2020
本研究提出一种基于贝叶斯批量主动学习方法来解决大规模监督模型中标签获取成本高的问题,从而利用大量未标记数据来改善模型性能。此方法通过逼近模型参数的完整数据后验概率,并使用随机投影技术来推广到任意模型,从而使批处理的数据选择更加多样,有效降低了计算复杂度,并在多个大规模回归和分类任务上得到了证实。
Aug, 2019
本文提出一种贝叶斯生成主动深度学习方法,将主动学习与数据增强相结合,通过在 MNIST、CIFAR-10/100 和 SVHN 数据集上进行训练和分类实验证明,此方法具有更高效的训练和更好的分类结果。
Apr, 2019
全监督模型在贝叶斯主动学习中占主导地位,我们认为它们对未标记数据中的信息的忽视不仅损害了预测性能,也影响了关于获取哪些数据的决策。我们提出了一个简单的半监督贝叶斯主动学习框架,发现它比传统的贝叶斯主动学习或随机获取数据的半监督学习能够生成更好的模型。该框架也更易于扩展。除了支持向半监督模型的转变外,我们的发现还强调了研究模型和获取方法的重要性。
Apr, 2024
该研究结合贝叶斯深度学习与主动学习框架,在高维图像数据的任务中,证明了其在现有主动学习方法上的显着改进。研究表明,结合专业模型,如贝叶斯卷积神经网络,可以使主动学习技术在 MNIST 数据集和皮肤癌诊断任务中得到显著改进。
Mar, 2017
本文研究在序列标注上采用迁移学习和主动学习来减少注释预算的可行性,并通过 Bayesian 不确定性估计方法和 Monte Carlo Dropout 选项在深度预训练模型的主动学习框架中进行了广泛的实证研究,并发现了不同类型模型的最佳组合。此外,我们还展示了在主动学习期间获取实例的全尺寸 Transformer 可以被替换为简化版本,这可以提供更好的计算性能,降低了应用深度主动学习的障碍。
Jan, 2021
本文提出了一种主动贝叶斯方法,通过选择实例进行标记来提高分类器模型性能的评估,从而在可靠性和标签效率上都满足要求,通过一系列系统实验评估现代神经分类器(例如,ResNet 和 BERT)在几个标准图像和文本分类数据集上的性能,证明了该方法的显着优势。
Feb, 2020
主题:主动学习、概率替代模型、高斯过程、不连续性、完全贝叶斯神经网络;摘要:评估了完全贝叶斯神经网络在小数据条件下使用无 U-Turn 采样器进行主动学习任务的适用性和性能,突显了其增加物理科学问题相关测试函数的预测准确性和可靠性的潜力。
May, 2024