深度主动学习中利用 Beta 评分的多标签文本分类

AAAIJan, 2024

深度主动学习中利用 Beta 评分的多标签文本分类

Harnessing the Power of Beta Scoring in Deep Active Learning for Multi-Label Text Classification

Wei Tan, Ngoc Dang Nguyen, Lan Du, Wray Buntine

TL;DR本研究介绍了一种新颖的深度主动学习策略，利用期望损失减少框架中的 Beta 系列合适评分规则来解决自然语言处理范围内多标签文本分类的挑战。通过计算预期分数的增加量，并将其转化为样本向量表示，该方法在各种架构和数据集情景中通常胜过传统的获取技术，在多标签文本分类中表现出令人鼓舞的结果。

Abstract

Within the scope of natural language processing, the domain of multi-label text classification is uniquely challenging due to its expansive and uneven label distribution. The complexity deepens due to the demand for an extensive set of annotated data for training an advanced deep learning model, especially in specialized fields where the labeling task can be

multi-label text classification deep active learning expected proper score beta scoring rules acquisition techniques

发现论文，激发创造

通过主动学习提高文本分类中的概率模型

提出了一种将概率模型和主动学习结合起来的新算法，用于降低自动化文本分类的标注成本，实现对未标注数据和难分类文档的集中标注，性能可与最先进的方法相媲美，使用原有标注数据比最近发布的两篇研究中仅用一小部分标注数据得出的结论相同，并提供了 activeText 软件。

Feb, 2022

采用严格的合适评分规则增强多样性主动学习

本研究探讨文本分类的主动学习领域中的不同收集函数，并开发了一种用于未标记数据的预期分数变化向量的多样性的批量主动学习算法，最后结合集成式学习和动态验证集构建证明 BEMPS 的 mean square error 和 log probability 收集函数的优越表现。

Oct, 2021

BERT-Beta: 一种主动概率文本审查方法

本文提出了一种基于 “文本毒性倾向” 的概念，通过引入预测性评估来增强反应式评论，使用 Beta regression 模型进行概率建模并提出解释方法以提高文本审查的准确性和可解释性，同时还提出了一种扩展线性模型的手段以提高预测精度。

Sep, 2021

深度主动学习在图像分类任务中的有效评估

本文旨在探讨如何通过主动学习（AL）技术实现更高效的标签操作的问题，其中包括一些在目前文献中存在的问题，如数据增强方法和 SGD 等常见方法的应用等，通过在图像分类中新的开源 AL 工具 DISTIL 的统一重新实现，我们研究了这些问题，并提出了一些第一手的洞察，以供 AL 从业者在未来的工作中参考。

Jun, 2021

利用基于主动学习的改进策略优化多域性能

本篇论文介绍了一种基于主动学习的多领域性能提升框架，首先利用初始标记数据对基础模型进行训练，然后迭代地选择最具信息量的样本进行标记，以改进模型性能。该方法在图像分类、情感分析和物体识别等多领域数据集上进行了评估，并表现出超越基准方法，并在几个数据集上取得了最先进的性能。同时表明了本方法非常高效，比其他主动学习方法需要明显较少的标记样本，是一种实用且有效的多领域性能提升解决方案。

Apr, 2023

针对具有适度大标签空间的商业相关文本的不平衡多标签分类

比较了四种不同的方法在特定数据集上的多标签文本分类性能，结果表明，精细调整的 BERT 表现出较高的准确性，F1 得分，精确度和召回率，相比于其他三种方法表现更好。这些发现突出了 fine tuned BERT 在多标签文本分类任务中的有效性，并暗示它在分析复杂文本方面可能是一种有用的工具。

Jun, 2023

学习如何学习和预测：一种用于多标签分类的元学习方法

本文提出了一种利用元学习方法和训练策略捕捉标签依赖关系的元学习方法，其训练策略用于交叉熵损失函数训练分类器，预测策略则用于预测。实验结果表明该方法可以更准确地进行多标签分类。

Sep, 2019

深度主动分类中的采样偏差：实证研究

本文通过大量经验研究，证明了利用 FastText.zip（FTZ）深度模型的后验熵进行主动集合选择对抗采样偏差和各种算法选择具有鲁棒性，并提出了基于深度主动文本分类的简单基线，可用于数据集压缩和半监督 / 在线学习场景。

Sep, 2019

深度贝叶斯主动半监督学习

通过半监督深度学习与主动学习相结合的方法，使用尽可能少的标记样本，同时利用熵最小化对未标记样本进行训练，在 MNIST 数据集上仅使用 300 个标记样本实现 2.06% 的误差率和 1000 个标记样本实现 1.06% 的误差率。该方法可以获得高准确性的敏捷标注过程，同时节省标记成本。

Mar, 2018

基于支配集的文本分类主动学习及其在在线社交媒体中的应用

本文介绍了一种基于活动学习方法的独特自然语言处理方式，可以有效利用较少的标记数据点来培训神经网络，最终达到与标记数据点相同的分类准确率。通过找到局部聚类的占主导地位的集合，该方法可以选择训练的样本，具有更高的性能和灵活性，且不受数据集的影响。

Jan, 2022