推进深度主动学习和数据子集选择:用信息理论直觉统一原则
提出了一种基于 Wasserstein 距离的深度批量主动学习的统一且原则性的方法,其中包括通过替代优化来优化深度神经网络参数和批处理查询选择的理论分析,以及指示查询批处理选择中明确的不确定性 - 多样性权衡的原则,最终在不同的基准测试中评估了所提出的方法,并与基线相比,展现出更好的性能和更好的时间效率。
Nov, 2019
通过半监督深度学习与主动学习相结合的方法,使用尽可能少的标记样本,同时利用熵最小化对未标记样本进行训练,在 MNIST 数据集上仅使用 300 个标记样本实现 2.06% 的误差率和 1000 个标记样本实现 1.06% 的误差率。该方法可以获得高准确性的敏捷标注过程,同时节省标记成本。
Mar, 2018
通过开发一个新的算法 COPS,我们提出了一个理论上最佳的解决方案,以最小化从样本数据训练的模型的预期损失。我们的方法在深度学习任务中可以有效地应用,通过使用模型的对数几率来估计采样比例,并通过低密度样本的降权方法来解决模型对错误规范的敏感性挑战。实证实验表明,COPS 相对于基线方法具有卓越的性能。
Sep, 2023
本文提出一种贝叶斯生成主动深度学习方法,将主动学习与数据增强相结合,通过在 MNIST、CIFAR-10/100 和 SVHN 数据集上进行训练和分类实验证明,此方法具有更高效的训练和更好的分类结果。
Apr, 2019
本文提出使用大规模集成主动学习方法来扩展数据子集搜索,通过在数百个模型中重复使用中间训练检查点来实现。实验结果表明,优化训练数据分布可以对大规模视觉任务带来显著的益处。
May, 2019
通过全面评估当前最先进的深度主动学习方法,我们的研究发现在一般情况下没有单一模型的方法能显著超越基于熵的主动学习方法,甚至一些方法还不如随机抽样。我们深入研究了常常被忽视的方面,如初始预算、预算递增步长和预训练的影响,并揭示了它们在实现卓越结果上的重要性。此外,我们还将评估拓展到其他任务,探索了将主动学习与半监督学习和目标检测相结合的有效性。我们的实验提供了有价值的见解和具体建议,为未来的主动学习研究做出了贡献。通过揭示当前方法的局限性,并理解不同实验设置的影响,我们旨在启发在有限注释预算的现实场景下更高效地训练深度学习模型。这项工作有助于提高主动学习在深度学习中的效果,并使研究人员在应用主动学习时能做出明智的决策。
Mar, 2024
本文回顾了贝叶斯最优实验设计的基础,并表明被称为期望信息增益或 BALD 的预测和模型参数之间的互信息以及被称为预测信息增益的获取候选和测试样本之间的互信息可以作为信息理论量的近似,提出了一种连接所谓分歧文献的统一框架。
Aug, 2022
本文通过大量经验研究,证明了利用 FastText.zip(FTZ)深度模型的后验熵进行主动集合选择对抗采样偏差和各种算法选择具有鲁棒性,并提出了基于深度主动文本分类的简单基线,可用于数据集压缩和半监督 / 在线学习场景。
Sep, 2019