主动二次学习：在序列标注和机器翻译的主动学习方法中主动减少冗余

ACLNov, 2019

主动二次学习：在序列标注和机器翻译的主动学习方法中主动减少冗余

Active$^2$ Learning: Actively reducing redundancies in Active Learning methods for Sequence Tagging and Machine Translation

PDF

Rishi Hazra, Parag Dutta, Shubham Gupta, Mohammed Abdul Qaathir, Ambedkar Dukkipati

TL;DR本文介绍了一种名为 Active² Learning 的主动学习策略，该策略可与多种 AL 策略和 NLP 任务结合使用，并能减少 3-25％的数据要求而无需额外计算开销。

Abstract

While deep learning is a powerful tool for natural language processing (NLP) problems, successful solutions to these problems rely heavily on large amounts of annotated samples. However, manually annotating data

deep learning natural language processing active learning data annotation al strategies

发现论文，激发创造

自然语言生成的主动学习

本文是第一次系统地研究了主动学习在文本生成方面的应用，研究表明现有的主动学习策略在文本生成场景下效果不佳，无法持续超越随机示例选择的基准线。

May, 2023

面向可计算的深度主动学习

该研究介绍了两种用于文本分类和标记任务的技术，可以显著减少深度学习中主动学习繁重的计算资源需求，通过伪标签和蒸馏模型实现更高性能的模型训练。

May, 2022

部署主动学习的实际障碍

本文研究了主题 “主动学习”，发现尽管在特定模型和特定领域中使用主动学习可能会带来好处，但在不同模型和任务之间泛化当前方法的好处不可靠，并且主动学习的认购数据与指导其获取的模型相结合，与使用独立同分布的（I.I.D）随机样本训练继任模型的方法相比并没有明显的优势，主动学习的局限性是否值得现实中的应用，值得深思。

Jul, 2018

大型语言模型的自动学习方法

使用大型语言模型（GPT-3.5 和 GPT-4）进行标注，研究了主动学习中减少标注成本和采样效率的方法。采用混合注释策略，将可能标注错误的样本与人工注释相结合，可以在 AG 新闻和腐烂的番茄等数据集上取得与人工注释相似甚至更好的结果，证明了大型语言模型在主动学习中的准确性和成本效益。

Jan, 2024

抽象文本摘要的主动学习

本文提出了第一个基于多样性原则的主动学习查询策略来缓解抽象文本摘要中昂贵的注释成本，并分析了自学习的效果。该策略可以帮助提高 ROUGE 和一致性分数。

Jan, 2023

ALE：面向自然语言处理的基于仿真的主动学习评估框架用于参数驱动的查询策略比较

使用可复现的主动学习评估框架来比较评估自然语言处理中的主动学习策略，并通过定义和跟踪实验参数，帮助实践者作出更明智的决策，同时帮助研究者开发出新的高效主动学习策略和制定最佳实践，从而降低注释成本。

Aug, 2023

减少词性标注主动学习中的混淆

这篇论文提出了一种主动学习策略，其中数据筛选算法用于选择有用的训练样本以最小化注释成本，在六种语言中进行了广泛的实验，证明了该策略优于其他主动学习策略，并提出了在特定的输出标签对之间最大程度减少混淆的 AL 问题。

Nov, 2020

深度主动学习综述

这篇文章探讨了深度主动学习的现状和未来发展方向，介绍了目前现有的挖掘数据特征的多种方法，并且对 “深度主动学习” 进行了定义和系统梳理。

Aug, 2020

法律文本分类的高效主动学习流程

本研究提出了一种在法律领域内使用主动学习与预训练语言模型的管道，其中利用了三个阶段的未标记数据，通过知识蒸馏引导模型的嵌入到一个语义上有意义的空间，并提出了一种简单而有效的策略找到初始的标记样本，实验表明相比传统方法在数据标注成本上更为高效且性能更好。

Nov, 2022

大语言模型上下文学习的主动学习原则

本文旨在探讨如何使用主动学习算法作为选择最佳演示文稿的方法来服务于上下文学习，对比了基于不确定性、多样性和相似性等各种标准的演示文稿选择算法，并表明相似性算法胜过其他所有方法，包括随机抽样和不确定性抽样。

May, 2023