在应用主动学习于 Transformer 模型时，要使用 Softmax 还是不使用 Softmax：这是一个问题

Oct, 2022

在应用主动学习于 Transformer 模型时，要使用 Softmax 还是不使用 Softmax：这是一个问题

To Softmax, or not to Softmax: that is the question when applying Active Learning for Transformer Models

Julius Gonsior, Christian Falkenberg, Silvio Magino, Anja Reusch, Maik Thiele...

TL;DR本文研究了活性学习的策略及其所用到的模型预测的置信度度量。通过对七个数据集中 8 种排除离群值的策略进行实验，发现大多数方法过于依赖寻找最不确定的样本（离群值），导致只标记离群值反而表现更差，文中提出一种方法对样本进行系统性忽略，在多种方法上相对 softmax 函数获得了更好的效果。

Abstract

Despite achieving state-of-the-art results in nearly all Natural Language Processing applications, fine-tuning transformer-based language models still requires a significant amount of labeled data to work. A well known technique to reduce the amount of human effort in acquiring a label

natural language processing transformer-based language models active learning softmax activation function outliers

发现论文，激发创造

基于不确定性的查询策略在使用 Transformers 进行主动学习中的再思考

本文探讨了如何将基于不确定性的查询策略与 transformers 相结合以实现 active learning，通过在五个广泛使用的文本分类基准测试中与其他不确定性策略进行比较，发现一些其他不确定性策略表现更好，挑战了 prediction entropy 查询策略在文本分类的 active learning 中最受欢迎的基线模型的地位。

Jul, 2021

大型语言模型的自动学习方法

使用大型语言模型（GPT-3.5 和 GPT-4）进行标注，研究了主动学习中减少标注成本和采样效率的方法。采用混合注释策略，将可能标注错误的样本与人工注释相结合，可以在 AG 新闻和腐烂的番茄等数据集上取得与人工注释相似甚至更好的结果，证明了大型语言模型在主动学习中的准确性和成本效益。

Jan, 2024

关于 Transformer 中主动学习数据集可迁移性的研究

本文研究主题为探究主动学习中数据集可迁移性的影响因素，结果表明，使用相似的问询顺序能够获得高度可迁移的数据集，掌握掌握合适的主动学习方法比选择合适的模型更加重要。

May, 2023

针对基于预训练 Transformer 的多任务主动学习

本文介绍多任务学习和主动学习的结合在 NLP 领域中的应用，提供了一些多任务选择标准，论证了多任务学习的有效性，使得在避免过多的文本标注方面更为高效。

Aug, 2022

主动学习器的脆弱性

在针对文本分类的活跃学习技术中，选择正确的文本表示、分类器以及评估指标是至关重要的，因为不同的因素可能会导致活跃学习技术的有效性受到限制。

Mar, 2024

克服自信心以实现主动学习

该研究提出了两种新颖的方法来解决主动学习场景中出现的过度自信问题，一种是名为 Cross-Mix-and-Mix（CMaM）的数据扩增策略，旨在通过扩展有限的训练分布来校准模型；另一种是名为 Ranked Margin Sampling（RankedMS）的数据选择策略，以防止选择导致过度自信预测的数据。通过各种实验和分析，我们能够证明我们的提议通过缓解过度自信，促进了有效的数据选择。

Aug, 2023

部署主动学习的实际障碍

本文研究了主题 “主动学习”，发现尽管在特定模型和特定领域中使用主动学习可能会带来好处，但在不同模型和任务之间泛化当前方法的好处不可靠，并且主动学习的认购数据与指导其获取的模型相结合，与使用独立同分布的（I.I.D）随机样本训练继任模型的方法相比并没有明显的优势，主动学习的局限性是否值得现实中的应用，值得深思。

Jul, 2018

探索 Softmax 的前沿：可证明的优化、扩散模型应用与更多

通过理论研究两层 softmax 神经网络的优化和泛化性质，揭示了 softmax 函数的归一化效应对所引起的神经核矩阵的扰动性能具有利于构建良好的损失函数曲面凸区域，从而 softmax 神经网络可以在超参数多于样本数量的情况下学习目标函数。

May, 2024

研究基于预训练 Transformer 语言模型的表征在标记文本数据的主动学习中的有效性

本文全面评估了基于预训练变压器语言模型的表示法在主动学习中的有效性，发现 BERT 般的模型比 word2vec 和包 - of-words 等更常见的表示法表现更好，同时提出了一种自适应调整主动学习方法，利用有限的标签信息训练分类器和适应性改进 BERT 模型生成的嵌入。

Apr, 2020

关于有效地为主动学习调整预训练语言模型的重要性

本文讨论使用预训练语言模型在自然语言处理中进行主动学习时存在的问题，并提出了使用先前所有的未标注数据来适应目标任务的解决方法，同时也提出了一种简单有效的微调方法来保证适应的语言模型在低资源和高资源情况下都能得到适当的训练，实验结果表明，相比标准的微调方法，我们的方法提供了显著的数据效率改进，这表明一个不良的训练策略可能对主动学习产生灾难性的影响。

Apr, 2021