May, 2024

ActiveLLM：基于大型语言模型的用于文本少样本场景的主动学习

PDF
TL;DRActiveLLM 是一种新颖的主动学习方法，通过利用诸如 GPT-4、Llama 3 和 Mistral Large 之类的大型语言模型来选择实例，显著提高了 BERT 分类器在少样本场景中的分类性能，并且可以扩展到非少样本场景，为各种学习设置提供了改进模型性能的有希望的解决方案。
active learningcold start problemfew-shot scenarioslarge language modelsclassification performance
发现论文，激发创造
  • 大语言模型上下文学习的主动学习原则

    本文旨在探讨如何使用主动学习算法作为选择最佳演示文稿的方法来服务于上下文学习，对比了基于不确定性、多样性和相似性等各种标准的演示文稿选择算法，并表明相似性算法胜过其他所有方法，包括随机抽样和不确定性抽样。

    May, 2023

  • 面向自然语言处理的预训练表征的高效主动学习

    通过在主动学习循环中使用预训练的大型语言模型的表示，然后在获得所需标记数据后，对这些数据进行微调，从而以较低的计算成本实现与将完全微调的模型相似的性能。

    Feb, 2024

  • 通过 LLM 驱动的主动学习和人工标注来增强文本分类

    该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

    Jun, 2024

  • 自监督语言建模的冷启动主动学习

    使用 BERT 预训练模型，通过最小化蒙版语言模型损失，实现在减少样本采样迭代和计算时间的同时，更高效地减少文本分类标注成本。

    Oct, 2020

  • 大型语言模型的自动学习方法

    使用大型语言模型（GPT-3.5 和 GPT-4）进行标注，研究了主动学习中减少标注成本和采样效率的方法。采用混合注释策略，将可能标注错误的样本与人工注释相结合，可以在 AG 新闻和腐烂的番茄等数据集上取得与人工注释相似甚至更好的结果，证明了大型语言模型在主动学习中的准确性和成本效益。

    Jan, 2024

  • LLMaAA：构建大型语言模型用于主动标注

    通过使用大型语言模型作为注释者，并将其放入主动学习循环中，我们提出了 LLMaAA 方法，充分发挥大型语言模型的潜力并有效利用大量无标签数据，提高效率和可靠性，并且在命名实体识别和关系抽取等自然语言处理任务上取得了超过其他基线方法的更高性能。

    Oct, 2023

  • 使用 FASL 进行主动式少样本学习

    本文介绍了一种新型迭代式快速文本分类模型训练平台 FASL，将 few-shot learning 和 active learning 两种方法相结合，探究了哪种主动学习方法在 few-shot setup 中的效果最佳，还开发了一个模型来预测何时停止标注。

    Apr, 2022

  • 基于预训练语言模型的句子匹配主动学习

    本文提出了一种基于预训练语言模型的主动学习方法，应用于句子匹配，通过提供语言标准来测量实例并选择更有效的实例进行注释，实验证明该方法可以在更少的标记训练实例的情况下实现更高的准确性。

    Oct, 2020

  • 循环中的 LLM：利用大型语言模型注释在低资源语言中进行主动学习

    通过在主动学习环路中利用 LLM 的潜力进行数据标注，我们的提议在极低的数据需求下显著提高了性能，为低资源环境中的自动化带来了巨大的潜在成本节约。这种方法能够弥合低资源语言和人工智能之间的鸿沟，促进更广泛的包容，并有潜力在不同的语言环境中实现自动化。

    Apr, 2024

  • FreeAL：大语言模型时代的无人主动学习

    在大型语言模型时代，我们提出了创新的协作学习框架 FreeAL，通过与 LLMs 交互式提取和过滤任务特定知识，显著提高了 SLM 和 LLM 的零样本性能，无需人工监督。

    Nov, 2023