EMNLPAug, 2018

自然语言处理的深度贝叶斯主动学习：一项大规模实证研究结果

PDF
TL;DR本篇论文就深度主动学习进行了大规模实证研究，针对多种任务和数据集、模型以及获取函数，证实贝叶斯主动学习方法在许多方面都优于传统的不确定性采样方法。
active learningdeep learningnatural language processingacquisition functionsbayesian active learning
发现论文，激发创造
  • 深度贝叶斯主动学习图像数据

    该研究结合贝叶斯深度学习与主动学习框架，在高维图像数据的任务中，证明了其在现有主动学习方法上的显着改进。研究表明，结合专业模型，如贝叶斯卷积神经网络，可以使主动学习技术在 MNIST 数据集和皮肤癌诊断任务中得到显著改进。

    Mar, 2017

  • 贝叶斯神经网络在主动学习中的有效性

    本文研究使用贝叶斯神经网络进行主动学习，相较于集成技术更能有效地捕捉不确定性，拥有更好的模型效果，同时还揭示了集成技术的一些关键缺陷。

    Apr, 2021

  • 基于贝叶斯主动学习的生产系统研究与可重用库

    本研究分析了当前主要的主动式学习技术中存在的主要缺点，并提出了缓解这些缺点的方法，包括使用部分不确定性采样和更大的查询大小加速主动式学习循环，并展示了开源贝叶斯主动式学习库 BaaL。

    Jun, 2020

  • 使用神经网络实现鲁棒性和可重现的主动学习

    本研究旨在证明在相同实验条件下，不同类型的主动学习算法（基于不确定性、多样性和委员会的），与随机采样基准相比，产生的收益不一致，这种性能度量的差异性可能导致结果与以前报告的结果不一致，强正则化下，主动学习方法在各种实验条件下显示出微小或无优势，并提出一套关于如何评估主动学习算法的建议，以确保结果在实验条件变化下具有重复性和稳健性。

    Feb, 2020

  • 部署主动学习的实际障碍

    本文研究了主题 “主动学习”，发现尽管在特定模型和特定领域中使用主动学习可能会带来好处，但在不同模型和任务之间泛化当前方法的好处不可靠，并且主动学习的认购数据与指导其获取的模型相结合，与使用独立同分布的（I.I.D）随机样本训练继任模型的方法相比并没有明显的优势，主动学习的局限性是否值得现实中的应用，值得深思。

    Jul, 2018

  • 面向可计算的深度主动学习

    该研究介绍了两种用于文本分类和标记任务的技术，可以显著减少深度学习中主动学习繁重的计算资源需求，通过伪标签和蒸馏模型实现更高性能的模型训练。

    May, 2022

  • 使用深度预训练模型和贝叶斯不确定性估计进行序列标注的主动学习

    本文研究在序列标注上采用迁移学习和主动学习来减少注释预算的可行性，并通过 Bayesian 不确定性估计方法和 Monte Carlo Dropout 选项在深度预训练模型的主动学习框架中进行了广泛的实证研究，并发现了不同类型模型的最佳组合。此外，我们还展示了在主动学习期间获取实例的全尺寸 Transformer 可以被替换为简化版本，这可以提供更好的计算性能，降低了应用深度主动学习的障碍。

    Jan, 2021

  • 深度主动学习综述

    这篇文章探讨了深度主动学习的现状和未来发展方向，介绍了目前现有的挖掘数据特征的多种方法，并且对 “深度主动学习” 进行了定义和系统梳理。

    Aug, 2020

  • 自然语言处理中主动学习的调查

    本文介绍了活跃学习在自然语言处理中的应用，并对查询策略、结构化预测任务、注释成本、模型学习和活跃学习的起止等关键问题进行了探讨。结论部分对相关主题和未来方向进行了讨论。

    Oct, 2022

  • 基于扰动的主动学习问答

    利用主动学习训练策略可以建立一个问题回答模型，以更小的注释成本实现，该策略选择最具信息量的未标记训练数据以有效地更新模型，该研究提出一种基于扰动的主动学习采集策略，并证明其比现有常用策略更有效。

    Nov, 2023