Jan, 2023

基于匹配样例的下句预测（MeNSP）：科学教育自动评分的零样本提示学习

PDF
TL;DR本研究开发了零样本学生答案自动评分方法 MeNSP，该方法采用预训练语言模型，无需人工标注样本即可实现自动评分，可显著降低模型训练成本。研究发现，该方法可以在科学教育中实现学生答案的自动评分，可以受益于低风险课堂评估实践，并建议在未来的研究中进一步探索 MeNSP 在科学教育不同类型的评估任务中的适用性和模型性能。
发现论文，激发创造
  • NSP-BERT: 一种基于提示的少样本学习器，通过原始预训练任务进行 -- 接下来的句子预测

    本文利用 BERT 的原始预训练任务 Next Sentence Prediction（NSP）探索零样本学习场景下的自然语言处理任务，提出了基于句子级别的 NSP-BERT 方法，克服了标记级方法的固定长度和位置限制，可应用于实体链接等任务。作者还提出了多种下游任务的快速构建模板和两阶段提示方法。在 FewCLUE 基准测试中，NSP-BERT 在大多数任务上超过其他零样本方法，并接近少样本方法。

    Sep, 2021

  • 克服提示扰动敏感性的零样本方法

    该研究旨在在零 - shot 设置中找到高质量的 prompt。我们的自动化方法使用位置、推理和释义技术生成多个与基本 prompt 类似的 prompt，然后使用新的度量标准对这些 prompt 进行排名。我们实验证明，排名靠前的 prompt 是高质量的，显著优于基本 prompt 和使用 few-shot learning 生成的 prompt，适用于句子级情感分类任务。

    May, 2023

  • 通用自适应提示

    通过研究，我们提出了一种自适应提示设计方法，能够使用只有少量未标记的数据和仅推理的 LLM 实现广泛的零 - shot 学习，该方法通过将 NLP 任务分类为三种类型，并使用相应的选择器选择最合适的查询和零 - shot 模型生成的响应作为伪证明，以完全自动化的方式将 ICL 推广到零 - shot 设置，从而呈现与少量 - shot 基线可比甚至优于的表现。

    May, 2023

  • 零样机任务推广的提示一致性

    本文探讨了如何利用未标记的数据以提高自然语言处理任务的零样本性能，并通过规范提示一致性来鼓励模型的一致预测，并取得了实验结果上的进展和成果。

    Apr, 2022

  • 预训练语言模型可完全零样本学习

    本文提出了一种基于预训练语言模型的无参考学习方法 NPPrompt，能够有效扩展一个预训练模型到多个语言理解任务，且不需要标注数据或附加未标注语料库进行微调。实验结果表明，NPPrompt 在文本分类和 GLUE 基准测试等任务中具有比以前最好的全零样本方法更高的绝对增益。

    Dec, 2022

  • 自适应提示提升零样本推理能力

    本研究提出了一种基于一致性的自适应提示设计方法，可以从大型语言模型的零样本输出中选择和构建示例，进而显著提高了零样本情况下三种不同大型语言模型的推理任务的性能。

    May, 2023

  • 为少样本示例选择设计信息指标

    我们提出了一种基于复杂性的提示选择方法，用于序列标注任务，该方法通过某些度量标准来对齐测试句子和示例的句法语义复杂性，从而提高预训练语言模型的性能。

    Mar, 2024

  • 零样本分类中的提示复杂度导航：计算社会科学中大型语言模型的研究

    在计算社会科学分类任务中，评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和 F1 分数的差异超过 10％。

    May, 2023

  • 零标签提示选择

    提出一种不依赖标签数据或梯度更新的 “零标签提示选择” 方法（ZPS），通过使用伪标签的方式来选择最优的提示，实现零标签任务的高性能。在零标签性能方面，ZPS 显著改善了先前方法，并将其扩展到少量样本的情况下，表现优于强基线模型。

    Nov, 2022

  • 预训练语言模型为什么比零 / 少样本学习者更好？

    本文提出了一种理论框架，以解释在零 / 少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于 perplexity 的注释无关模板选择方法，使我们能够提前预测提示性能。

    Sep, 2022