ACLJan, 2021

使用深度预训练模型和贝叶斯不确定性估计进行序列标注的主动学习

PDF
TL;DR本文研究在序列标注上采用迁移学习和主动学习来减少注释预算的可行性，并通过 Bayesian 不确定性估计方法和 Monte Carlo Dropout 选项在深度预训练模型的主动学习框架中进行了广泛的实证研究，并发现了不同类型模型的最佳组合。此外，我们还展示了在主动学习期间获取实例的全尺寸 Transformer 可以被替换为简化版本，这可以提供更好的计算性能，降低了应用深度主动学习的障碍。
发现论文，激发创造
  • 自然语言处理的深度贝叶斯主动学习：一项大规模实证研究结果

    本篇论文就深度主动学习进行了大规模实证研究，针对多种任务和数据集、模型以及获取函数，证实贝叶斯主动学习方法在许多方面都优于传统的不确定性采样方法。

    Aug, 2018

  • 贝叶斯神经网络在主动学习中的有效性

    本文研究使用贝叶斯神经网络进行主动学习，相较于集成技术更能有效地捕捉不确定性，拥有更好的模型效果，同时还揭示了集成技术的一些关键缺陷。

    Apr, 2021

  • 基于不确定性的查询策略在使用 Transformers 进行主动学习中的再思考

    本文探讨了如何将基于不确定性的查询策略与 transformers 相结合以实现 active learning，通过在五个广泛使用的文本分类基准测试中与其他不确定性策略进行比较，发现一些其他不确定性策略表现更好，挑战了 prediction entropy 查询策略在文本分类的 active learning 中最受欢迎的基线模型的地位。

    Jul, 2021

  • 基于贝叶斯主动学习的生产系统研究与可重用库

    本研究分析了当前主要的主动式学习技术中存在的主要缺点，并提出了缓解这些缺点的方法，包括使用部分不确定性采样和更大的查询大小加速主动式学习循环，并展示了开源贝叶斯主动式学习库 BaaL。

    Jun, 2020

  • 面向可计算的深度主动学习

    该研究介绍了两种用于文本分类和标记任务的技术，可以显著减少深度学习中主动学习繁重的计算资源需求，通过伪标签和蒸馏模型实现更高性能的模型训练。

    May, 2022

  • 基于预训练语言模型的句子匹配主动学习

    本文提出了一种基于预训练语言模型的主动学习方法，应用于句子匹配，通过提供语言标准来测量实例并选择更有效的实例进行注释，实验证明该方法可以在更少的标记训练实例的情况下实现更高的准确性。

    Oct, 2020

  • 贝叶斯生成主动深度学习

    本文提出一种贝叶斯生成主动深度学习方法，将主动学习与数据增强相结合，通过在 MNIST、CIFAR-10/100 和 SVHN 数据集上进行训练和分类实验证明，此方法具有更高效的训练和更好的分类结果。

    Apr, 2019

  • 自监督语言建模的冷启动主动学习

    使用 BERT 预训练模型，通过最小化蒙版语言模型损失，实现在减少样本采样迭代和计算时间的同时，更高效地减少文本分类标注成本。

    Oct, 2020

  • 主动学习中的学习损失

    本文提出了一种新颖的主动学习方法，使用一个小的参数模块 “loss prediction module” 来预测未标注数据的损失值，并基于此向其他特征不确定的数据请求人类进行标注，可以适用于深度神经网络的所有任务，结果表明该方法在图像分类、物体检测和人体姿态估计等任务中优于之前的方法。

    May, 2019

  • 针对基于预训练 Transformer 的多任务主动学习

    本文介绍多任务学习和主动学习的结合在 NLP 领域中的应用，提供了一些多任务选择标准，论证了多任务学习的有效性，使得在避免过多的文本标注方面更为高效。

    Aug, 2022