ACLApr, 2024

LLM 不适用时使用 FastFit: 快速高效的多类别文本分类

PDF
TL;DRFastFit 是一个 Python 包，利用批量对比学习和令牌级相似度评分的新方法，为许多语义相似类别的情况下提供快速准确的少样本分类。相较于现有的少样本学习包，如 SetFit、Transformers 或通过 API 调用大型语言模型的少样本提示，FastFit 在 FewMany 和多语种数据集中显著提高多类分类性能，训练速度提升 3-20 倍，在几秒钟内完成训练。FastFit 包已在 GitHub 和 PyPi 上提供，为自然语言处理研究人员提供了用户友好的解决方案。
发现论文，激发创造
  • FastClass：一种高效的弱监督文本分类方法

    本文提出了一种有效的弱监督分类方法 FastClass，它使用密集文本表示从外部无标签语料库中检索与类相关的文档，并选择最优子集来训练分类器，相比关键词驱动方法，我们的方法对初始类描述的依赖性更低且训练速度更快，实验证明在广泛的分类任务上，该方法的分类准确性通常优于关键词驱动模型并且训练速度对比关键词驱动方法快得多。

    Dec, 2022

  • Python 中的文本分类主动学习

    介绍一个易于使用的主动学习库，名为 small-text，它提供了用于单标签和多标签文本分类的基于池的主动学习。该库集成了许多先进的查询策略，包括一些利用 GPU 的策略，并且可以与多种分类器、查询策略和停止标准结合使用。我们使用该库研究了最近发布的 SetFit 训练范式的性能，发现它在分类准确性方面与常规 transformer 微调相同，但在曲线下面积方面表现更好。

    Jul, 2021

  • 高效的零样本学习无须提示

    提出了一种名为 SetFit 的有效、无提示和快速的模型，用于在小规模数据上对 Sentence Transformers 进行 few-shot fine-tuning，通过对预训练模型进行对比式 Siamese 微调，再使用其生成的文本嵌入来训练分类头部，从而获得与传统技术相当的结果，并且解决了手工制作提示和语言模型规模过大的问题。

    Sep, 2022

  • 使用 PEFT 和合成数据增强低资源 LLMs 分类

    提出了一种方法，使大型语言模型在 0-shot 文本分类任务中成为高效的文本分类器，并在低资源环境下获得了竞争性结果。

    Apr, 2024

  • 像一个好的最近邻居：使用句子转换技术进行实用内容管理

    本文介绍了 SetFit 和 Like a Good Nearest Neighbor 方法，利用文本分类技术来解决社交媒体平台上有害内容的检测问题，研究比较了四个标签分布下的文本分类系统。

    Feb, 2023

  • 高效文本分类的诀窍

    本文介绍了一种用于文本分类的简单高效的基线方法 fastText，在准确性方面通常与深度学习分类器相媲美，但在训练和评估方面快了数个数量级。我们用标准的多核 CPU 可以在不到十分钟的时间内对十亿多个单词进行训练，并在不到一分钟的时间内对 312K 种类别的 50 万个句子进行分类。

    Jul, 2016

  • MultiFiT：高效的多语言语言模型微调

    本研究提出了 Multi-lingual language model Fine-Tuning (MultiFiT) 方法，使得从未标注的数据中有效地训练和优化预训练语言模型，特别对于低资源性语言，实现了零样本跨语言模型，并在两个跨语言分类数据集中优于那些使用更多数据和计算的预训练模型。

    Sep, 2019

  • 一种基于多模型的深度学习框架，用于处理不平衡和非常小的数据集进行短文本多分类

    本文提出了一种基于多模态的深度学习框架，用于短文本多类别分类，针对于极小数据集，使用了 DISTILBERT 来获取上下文敏感的动态词向量，并取得了在精度、召回率、准确率和 F1 分数上与现有最优方法相同的性能，同时模型体积更小，可以在移动设备上更快、更轻地部署。

    Jun, 2022

  • 如何使有限资源的文本分类在银行业变得物超所值

    标准的 NLP 全数据分类器需要成千上万个标记示例，在数据有限的领域中是不切实际的。少样本学习方法提供了一种替代方案，利用对比学习技术，在每个类别只需 20 个示例即可发挥有效作用。类似地，像 GPT-4 这样的大型语言模型也可在每个类别只有 1-5 个示例的情况下有效运行。然而，这些方法的性能与成本之间的权衡仍然未被充分研究，这对于预算有限的组织来说是一个关键问题。我们的工作通过在 Banking77 金融意图检测数据集上研究上述方法来填补这一空白，包括评估 OpenAI、Cohere 和 Anthropic 的最新大型语言模型在全面的少样本场景中的表现。我们通过两种额外的方法来完善整个研究：一是基于检索增强生成（RAG）的成本效益查询方法，与经典的少样本方法相比，能够多次降低运营成本；二是使用 GPT-4 的数据增强方法，能够改善数据有限情况下的性能。最后，为了激发未来的研究，我们提供了一个人工专家策划的 Banking77 子集，以及广泛的错误分析。

    Nov, 2023

  • 一种快速、紧凑、准确的混合语言文本语种识别模型

    提出了一种可以快速且精确地标识码混合多语言文本中每个单词的语言的前馈网络的方法，并在 100 种语言和 100 种语言对中展示了其优越性能。

    Oct, 2018