Jul, 2023

自动预测平滑能够提高少样本分类效果

PDF
TL;DR通过修改预测结果而非自身， Embroid 方法通过计算不同嵌入函数下数据集的多个表示，并利用相邻样本的语言模型预测结果的一致性来识别预测错误，从而改进基于提示的学习，展现出在各种任务中显著提高性能的潜力。
language modelsprompt-based learningdata labelingembedding functionsimproving prompt-based learning
发现论文，激发创造
  • 大型语言模型的增强型提示集成

    我们提出了一种基于提示集成的方法来进一步提高语言模型推理性能，并在 GSM8k 和 AQuA 数据集上的实验中验证了该方法的优越性。

    Apr, 2023

  • 通过聚类表示，使预训练语言模型成为更好的零样本学习器

    本文通过将聚类方法应用于提前训练的语言模型的嵌入空间中，展示了在主题和情感分类数据集上，该方法在无需另作准备的情况下显著提高了零 - shot 文本分类的性能；并发现该方法不需要 Fine-tuning 就可以将文本分类；最后，文章还比较了不同 PLM 嵌入空间，并发现即使 PLM 未明确预训练为生成有意义的句子嵌入，它仍然能按主题将文本很好地聚类。

    Oct, 2022

  • 循环中的语言模型：将提示融入弱监督

    本研究提出使用大型预训练语言模型进行弱监督学习的策略，并使用 Snorkel 系统去噪声标签，得到的训练数据可提高分类器的准确性，相比于零样本方法，错误率平均降低 19.5%。此外，该方法所得分类器的准确度相当或高于手动设置的规则。

    May, 2022

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • 大型语言模型通过嵌入损坏的提示进行遗忘学习

    大语言模型的轻便取消学习框架 (ECO) 通过使用提示分类器在推理过程中添加和损坏的提示嵌入来实现知识的取消学习。

    Jun, 2024

  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 自适应提示学习的基于少样本的情感分析

    本文提出了一种自适应提示构建策略，利用 seq2seq-attention 结构获取输入序列的语义信息，并动态构建自适应提示，可以改善提示的质量，且通过预训练的提示有效地推广至其他领域。在 FewCLUE 数据集上的实验证明了该方法的有效性和超过先前最先进方法的表现。

    May, 2022

  • STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

    提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

    Oct, 2022

  • 分布式学习

    提出了基于提示分布学习的方法，从而通过有效地适应先前训练的视觉 - 语言模型来处理下游的识别任务，该方法不仅从少量样本中学习低偏差的提示，而且还捕获多种提示的分布以处理不同的视觉表示。

    May, 2022

  • PromptDA: 基于标签的数据增强，针对基于提示的小样本学习

    本研究利用丰富的标签语义信息提出了一种新颖的标签引导数据增强框架 PromptDA，通过有效地利用标签语义和数据增强来提高自然语言理解的性能，以解决如何为基于 Prompt 的 few-shot 调整设计有效的数据增强方法的重要研究问题。

    May, 2022