Apr, 2022

超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

PDF
TL;DR本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。
pre-trained language modelsfew-shot learningfine-tuningmultimodal causal transformer modelsprompt-based techniques
发现论文，激发创造
  • POUF: 面向提示的无监督微调大规模预训练模型

    本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

    Apr, 2023

  • 提示性模型是否无能？

    该论文研究了少样本提示模型是否也利用了表象线索，发现在 MNLI、SNLI、HANS 和 COPA 数据集上，尽管模型在表象线索实例上表现良好，但在没有表象线索的实例上的性能往往低于或仅略优于随机准确度。

    May, 2022

  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 基于提示的少样本问答合成数据生成

    使用大型语言模型在少样本学习 Set 中提高问题回答的性能。

    May, 2024

  • Few-shot 基于提示微调中避免推断启发式方法

    本文研究表明，在句子对分类任务中，虽然预训练语言模型提供了低数据环境下的优势，但基于提示的微调模型仍然存在使用基于词汇重叠的推理启发式的共同缺陷，加入保留预训练权重的正则化可以缓解这种破坏性的微调倾向，并在三个挑战数据集上显示了可预期的改进。

    Sep, 2021

  • 零样本基于提示的分类：德语推文中的主题标签

    基于最新的自然语言处理技术，本研究通过使用基于写作指南的文本对文本界面而无需提供培训样本的方法，评估其在实际应用中自动化注释任务中的效果，结果表明即使受到本地计算资源限制，这种以提示为基础的方法与经过优化的 BERT 模型相当，且无需任何已标记的训练数据。

    Jun, 2024

  • 文本分类的语言模型：局部学习是否足够？

    在这篇论文中，我们通过对 16 个文本分类数据集进行大规模评估研究，比较了零样本和少样本的大型语言模型与微调较小语言模型在文本分类方面的表现。结果表明，更小且更高效的语言模型的微调仍然能胜过大型语言模型的少样本方法，在文本分类方面有改进的空间。

    Mar, 2024

  • 利用基于提示的数据增强提高黑盒少样本文本分类

    本文提出了一种名为 BT-Classifier 的方法，它通过对数据进行数据增强、把黑盒模型作为特征提取器以及使用小型的辅助语言模型的 prompt-based 微调训练分类器，达到了在不访问大型模型的梯度的情况下优化零样本学习任务的效果，并在 8 个文本分类数据集上取得了与全模型调整方法相当的成果。

    May, 2023

  • PromptDA: 基于标签的数据增强，针对基于提示的小样本学习

    本研究利用丰富的标签语义信息提出了一种新颖的标签引导数据增强框架 PromptDA，通过有效地利用标签语义和数据增强来提高自然语言理解的性能，以解决如何为基于 Prompt 的 few-shot 调整设计有效的数据增强方法的重要研究问题。

    May, 2022

  • 利用无标签数据进行上下文学习的解释选取

    本文提出了一种黑盒优化解释注入的提示方法，以提高文本推理任务的性能，在问题回答、数学推理和自然语言推理等四个文本推理任务中实现了有效的促进效果。

    Feb, 2023