Sep, 2021

RAFT: 一个现实世界的少样本文本分类基准

PDF
TL;DR该研究论文讨论预训练的语言模型在少量数据情况下完成自然语言处理任务的表现，提出了一种新的用于测量模型在真实世界中应用的少量样本任务的基准测试 RAFT，这个基准测试展示了当前技术存在的困难和挑战，虽然一些分类任务对于普通人来说也很困难，但普通人在这些任务上的表现超过了 GPT-3 模型。
发现论文，激发创造
  • 语言模型是少样本学习器

    在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

    May, 2020

  • 适应领域特定 RAG 的语言模型 RAF

    在这篇论文中，我们提出了一种名为检索增强微调 (RAFT) 的训练方法，它能够提高模型在领域内回答问题的能力，并处理无关文档干扰，从而提升大规模语言模型的性能。

    Mar, 2024

  • RAFT：针对少样本滥用语言检测的理由适配器

    研究旨在通过使用 RAFT (Rationale Adaptor for Few-shoT classification) 来检测网络社交媒体中的恶意语言。该方法使用多任务学习设置联合学习合理性、目标和标签，建立了两种合理性集成的 BERT-based 架构。在五个不同的虐待性语言数据集上，与基线模型相比，RAFT-based 模型在少量样本分类方面的性能提高了约 7％的宏 F1 分数，并在可信性方面胜过了 LIME / SHAP-based 方法。

    Nov, 2022

  • 使用指令微调语言模型的自动化少样本分类

    通过使用指导微调的语言模型，构建了一个用于 few-shot 学习的方法，名为 AuT-Few，该方法可以自动选择适合的任务指令，并实现了较强的 prompt 稳健性和良好的分类性能。

    May, 2023

  • RAFT: 用于生成式基础模型对齐的奖励排序微调方法

    本文提出了一种新的框架 RAFT，它利用奖励模型和足够数量的样本将生成模型对齐，选择高质量的样本并去除那些表现不良的样本。该算法在大型语言模型和扩散模型的情况下表现良好。

    Apr, 2023

  • 真正的提示式几 - shot 学习 —— 从现实角度出发

    PET 方法结合文本说明与示例微调，在真实的 few-shot 设置实现强大的性能表现，在 RAFT 基准下取得了新的最高水平，并在 11 项任务中有 7 项接近于非专家人类表现。

    Nov, 2021

  • RoFT: 一种用于评估机器生成文本的人类检测工具

    该论文提出了一种基于 Real or Fake Text（RoFT）的机器生成文本评估方法，涉及自然语言生成（NLG）、机器生成文本边界检测等关键词。

    Oct, 2020

  • TART: 任务自适应参考转换技术提升少样本文本分类

    提出一种基于 Task-Adaptive Reference Transformation 网络的 Few-Shot 文本分类方法，通过在任务自适应度量空间中将类原型转换为每个类的固定参考点来增强泛化能力，并引入了一种在转换后的原型之间的区别性参考正则化方法，实验结果在四个基准数据集上均超越了现有模型。

    Jun, 2023

  • 面向低资源域特定软件需求分类的少样本学习方法

    本文针对汽车领域文本软件需求分类问题，提出了对极少量标注样本进行 Few-shot 学习 fine-tuning 的算法和方法，发现在只有数十个标注样本时，SciBERT 和 DeBERTa 的效果最好；但随着标注样本数量的增加到 50 个，相对于 Siamese 和 T5，它们的性能提升微乎其微

    Feb, 2023

  • 通过合成对比论证的检索增强事实验证

    通过对比论证综合检索增强的事实验证 (RAFTS) 方法能有效检索相关文档作为证据，并从不同角度评估论证，结合信息丰富的上下文示例作为先验，能在没有复杂提示的情况下显著改善受监督和 LLB 基线，且在相对较小的 LLB 上表现超过基于 GPT 的方法。

    Jun, 2024