Feb, 2020

黑盒分类器的主动贝叶斯评估

PDF
TL;DR本文提出了一种主动贝叶斯方法，通过选择实例进行标记来提高分类器模型性能的评估，从而在可靠性和标签效率上都满足要求，通过一系列系统实验评估现代神经分类器（例如，ResNet 和 BERT）在几个标准图像和文本分类数据集上的性能，证明了该方法的显着优势。
machine learningblack-box classifiersactive bayesian approachlabel-efficientneural classifiers
发现论文，激发创造
  • 贝叶斯神经网络在主动学习中的有效性

    本文研究使用贝叶斯神经网络进行主动学习，相较于集成技术更能有效地捕捉不确定性，拥有更好的模型效果，同时还揭示了集成技术的一些关键缺陷。

    Apr, 2021

  • 评估实时主动学习绩效的限制

    本文研究了如何在不可靠的情况下评估主动学习算法在训练期间的性能，并提出了三个主要挑战：如何推导性能分布，如何保留标记子集的代表性，以及如何纠正由于智能选择策略而引起的抽样偏差。

    Jan, 2019

  • 基于贝叶斯主动学习的生产系统研究与可重用库

    本研究分析了当前主要的主动式学习技术中存在的主要缺点，并提出了缓解这些缺点的方法，包括使用部分不确定性采样和更大的查询大小加速主动式学习循环，并展示了开源贝叶斯主动式学习库 BaaL。

    Jun, 2020

  • 主动测试：一个高效和稳健的估计准确性的框架

    本研究致力于解决在大型带噪数据集上扩大模型评估规模的问题，并采用主动测试框架，有效查询用户，以最小化审核，测试两种常见计算机视觉任务的性能指标，并表明该方法比其他评估协议更具稳健性，并能节省显着的人工标注工作量。

    Jul, 2018

  • 使用深度预训练模型和贝叶斯不确定性估计进行序列标注的主动学习

    本文研究在序列标注上采用迁移学习和主动学习来减少注释预算的可行性，并通过 Bayesian 不确定性估计方法和 Monte Carlo Dropout 选项在深度预训练模型的主动学习框架中进行了广泛的实证研究，并发现了不同类型模型的最佳组合。此外，我们还展示了在主动学习期间获取实例的全尺寸 Transformer 可以被替换为简化版本，这可以提供更好的计算性能，降低了应用深度主动学习的障碍。

    Jan, 2021

  • 在贝叶斯主动学习中更好地利用无标签数据

    全监督模型在贝叶斯主动学习中占主导地位，我们认为它们对未标记数据中的信息的忽视不仅损害了预测性能，也影响了关于获取哪些数据的决策。我们提出了一个简单的半监督贝叶斯主动学习框架，发现它比传统的贝叶斯主动学习或随机获取数据的半监督学习能够生成更好的模型。该框架也更易于扩展。除了支持向半监督模型的转变外，我们的发现还强调了研究模型和获取方法的重要性。

    Apr, 2024

  • 主动测试：高效模型评估

    本文介绍了一种新的样本效率模型评估框架 —— 主动测试，通过精心选择要标记的测试点，以充分利用样本，解决了现有文献大都忽略了标记测试数据的成本，从而导致模型评估与实际应用的脱节的问题，在理论上建立了基于目标的获取策略并做了进一步的改进，以消除引入的偏差并在相同时间内降低估计方差。

    Mar, 2021

  • 自然语言处理的深度贝叶斯主动学习：一项大规模实证研究结果

    本篇论文就深度主动学习进行了大规模实证研究，针对多种任务和数据集、模型以及获取函数，证实贝叶斯主动学习方法在许多方面都优于传统的不确定性采样方法。

    Aug, 2018

  • BaCOUn：具有分布外不确定性的贝叶斯分类器

    使用贝叶斯框架在深度分类器上进行推理，从而获得可靠的不确定性估计。将一个生成器与基于边界点的特征组合起来，用于处理训练数据中的偏移问题。

    Jul, 2020

  • 基于增强树的基于模型不确定性的表格数据主动学习

    本研究探讨了基于提升树的主动学习方法对表格数据的有效性，利用模型不确定性进行样本选择，并针对回归任务提出了一种成本效益高的主动学习方法，同时也提出了改进的成本效益高的分类任务的主动学习方法。

    Oct, 2023