Mar, 2023

UPRISE：用于改进零样本评估的通用提示检索

PDF
TL;DRUPRISE is a model that improves the generalization of large language models through a lightweight and versatile retriever that automatically retrieves prompts for zero-shot tasks, without the need for model-specific fine-tuning or task-specific prompt engineering, and mitigates the hallucination problem in chatbots.
large language modelsuprisezero-shot evaluationretrieverhallucination problem
发现论文，激发创造
  • 通用自适应提示

    通过研究，我们提出了一种自适应提示设计方法，能够使用只有少量未标记的数据和仅推理的 LLM 实现广泛的零 - shot 学习，该方法通过将 NLP 任务分类为三种类型，并使用相应的选择器选择最合适的查询和零 - shot 模型生成的响应作为伪证明，以完全自动化的方式将 ICL 推广到零 - shot 设置，从而呈现与少量 - shot 基线可比甚至优于的表现。

    May, 2023

  • 针对少样本文本分类的统一提示调整

    该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。

    May, 2022

  • 软提示检索增强零样本任务泛化能力

    本文探索了通过提示调整获得的软提示如何在零样本推理中协助硬提示，以实现任务泛化。结果表明，此简单方法仅增加了 0.007％的额外参数，但在大型基准测试上提高了 2.39％的平均准确率，对不同评估提示的准确性和鲁棒性有更好的排名。

    Oct, 2022

  • 大型语言模型是强零 - shot 召回器

    该论文提出了一种简单的方法，使用大规模语言模型作为信息检索的检索器，从而在零 - shot 场景下提高检索效率。该方法通过在检索词和其他相关域内候选之间进行组合，来辅助语言模型生成更精确的答案，使得检索更加透明，从而实现竞争力更强的检索结果。

    Apr, 2023

  • 检索增强的视觉提示学习用于少样本分类

    本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

    Jun, 2023

  • 零样本跨语言 Prompt 调整的统一多语言 Prompt 传递

    本文提出了一种使用 UniPrompt 的新型模型，其使用单一的多语言 prompt 并且具有语言不可知性，可以显著提高在零样本跨语言设置下的转移性能。

    Feb, 2022

  • 再探大型语言模型作为零 - shot 关系抽取器

    本研究聚焦于使用大型语言模型作为无样本关系抽取器。通过分析现有关系抽取提示的不足之处，并引入诸如 CoT 的最新提示技术，我们提出了一种名为 SumAsk 的简单提示方法，通过使用大型语言模型将关系抽取输入转化为有效的问答格式。同时，我们在各种基准测试和设置上进行了广泛的实验，研究了大型语言模型在无样本关系抽取方面的能力，发现 SumAsk 方法在不同模型尺寸、基准测试和设置上都能显著提高大型语言模型的性能，在与无样本和完全监督方法相比具有一定竞争力甚至优越性能的同时，大型语言模型在提取重叠关系方面表现出了良好的性能，然而，不同的关系之间性能差异较大，大型语言模型相较于小型语言模型在处理挑战性的无适用项关系时表现出了有效性。

    Oct, 2023

  • kNN-Prompt: 最近邻零样本推理

    研究了 k-nearest neighbor LM 以及 kNN-Prompt 模型在少数样本和零样本任务准确度上的性能，发现其对于扩展任务特定的模糊单词十分有效，且具有在领域适应中快速提高准确度的优势。

    May, 2022

  • 探索使用提示的大型语言模型作为可解释的度量

    本文描述了 IUST NLP 实验室在 Eval4NLP 2023 会议上提出的一种用于解释性评估的零样本基于提示的策略，该策略使用了大型语言模型（LLMs）来评估总结任务，并通过实验证明了 LLMs 在自然语言处理（NLP）中，特别是在总结领域具有良好的潜力。在这些实验中，使用了少样本和零样本的方法。最佳提示在测试数据的文本总结任务中与人类评估的肯德尔相关性达到了 0.477。代码和结果可以在 GitHub 上公开获取。

    Nov, 2023

  • 大型语言模型的自动提示选择

    自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

    Apr, 2024