ACLJul, 2021

基于不确定性的查询策略在使用 Transformers 进行主动学习中的再思考

PDF
TL;DR本文探讨了如何将基于不确定性的查询策略与 transformers 相结合以实现 active learning，通过在五个广泛使用的文本分类基准测试中与其他不确定性策略进行比较，发现一些其他不确定性策略表现更好，挑战了 prediction entropy 查询策略在文本分类的 active learning 中最受欢迎的基线模型的地位。
active learningtransformerstext classificationquery strategyuncertainty
发现论文，激发创造
  • 使用深度预训练模型和贝叶斯不确定性估计进行序列标注的主动学习

    本文研究在序列标注上采用迁移学习和主动学习来减少注释预算的可行性，并通过 Bayesian 不确定性估计方法和 Monte Carlo Dropout 选项在深度预训练模型的主动学习框架中进行了广泛的实证研究，并发现了不同类型模型的最佳组合。此外，我们还展示了在主动学习期间获取实例的全尺寸 Transformer 可以被替换为简化版本，这可以提供更好的计算性能，降低了应用深度主动学习的障碍。

    Jan, 2021

  • 研究基于预训练 Transformer 语言模型的表征在标记文本数据的主动学习中的有效性

    本文全面评估了基于预训练变压器语言模型的表示法在主动学习中的有效性，发现 BERT 般的模型比 word2vec 和包 - of-words 等更常见的表示法表现更好，同时提出了一种自适应调整主动学习方法，利用有限的标签信息训练分类器和适应性改进 BERT 模型生成的嵌入。

    Apr, 2020

  • 基于增强树的基于模型不确定性的表格数据主动学习

    本研究探讨了基于提升树的主动学习方法对表格数据的有效性，利用模型不确定性进行样本选择，并针对回归任务提出了一种成本效益高的主动学习方法，同时也提出了改进的成本效益高的分类任务的主动学习方法。

    Oct, 2023

  • 在应用主动学习于 Transformer 模型时，要使用 Softmax 还是不使用 Softmax：这是一个问题

    本文研究了活性学习的策略及其所用到的模型预测的置信度度量。通过对七个数据集中 8 种排除离群值的策略进行实验，发现大多数方法过于依赖寻找最不确定的样本（离群值），导致只标记离群值反而表现更差，文中提出一种方法对样本进行系统性忽略，在多种方法上相对 softmax 函数获得了更好的效果。

    Oct, 2022

  • 基于扰动的主动学习问答

    利用主动学习训练策略可以建立一个问题回答模型，以更小的注释成本实现，该策略选择最具信息量的未标记训练数据以有效地更新模型，该研究提出一种基于扰动的主动学习采集策略，并证明其比现有常用策略更有效。

    Nov, 2023

  • 自监督语言建模的冷启动主动学习

    使用 BERT 预训练模型，通过最小化蒙版语言模型损失，实现在减少样本采样迭代和计算时间的同时，更高效地减少文本分类标注成本。

    Oct, 2020

  • BayesFormer：具有不确定性估计的 Transformer 模型

    介绍了一种名为 BayesFormer 的基于 Bayesian theory 设计的 Transformer 模型，该模型利用变分推断中的 dropout 扩展到 Transformer-based architectures，通过多种实验在自然语言处理、机器翻译、长序列理解和主动学习等领域展现出了卓越的性能。

    Jun, 2022

  • 基于预训练语言模型的句子匹配主动学习

    本文提出了一种基于预训练语言模型的主动学习方法，应用于句子匹配，通过提供语言标准来测量实例并选择更有效的实例进行注释，实验证明该方法可以在更少的标记训练实例的情况下实现更高的准确性。

    Oct, 2020

  • 使用预训练转换器的连续主动学习

    研究探讨使用基于 transformer 的模型如何提升高召回率信息检索的搜索性能，提出了可基于相关反馈进行持续 fine-tune 的 CALBERT 模型。

    Aug, 2022

  • 通过主动学习提高文本分类中的概率模型

    提出了一种将概率模型和主动学习结合起来的新算法，用于降低自动化文本分类的标注成本，实现对未标注数据和难分类文档的集中标注，性能可与最先进的方法相媲美，使用原有标注数据比最近发布的两篇研究中仅用一小部分标注数据得出的结论相同，并提供了 activeText 软件。

    Feb, 2022