Jun, 2024

FamiCom: 评估任务无关性能的语言模型提示的进一步解谜

PDF
TL;DR通过使用 FamiCom 这一修订度量，结合语言模型对提示的熟悉度以及任务的复杂性，能够更准确地估计任务无关性能，并在自动提示和演示选择方面的准确性方面超过了现有方法和基准超过 7.0%。
language modelsin-context-learning capabilitieslabel-agnostic prompt metricsfamicomperformance estimation
发现论文，激发创造
  • 通过困惑度估计解密语言模型中的提示

    通过对语言模型的提示和降低困惑度等优化，可以改善模型在 zero-shot 学习中的性能。

    Dec, 2022

  • MPrompt: 多级提示调优在机器阅读理解中的探索

    该研究提出了一种多级提示调优方法来增强机器阅读理解，通过利用任务特定、领域特定和上下文相关的提示，提高了输入语义在不同层次上的理解能力。同时，引入了独立性约束来避免冗余，并利用上下文相关知识生成合适的提示。在各种问答格式的 12 个基准测试中进行了广泛实验，相比最先进的方法，平均改进率达到了 1.94%。

    Oct, 2023

  • 考虑平坦度的提示选择可提高准确性和样本效率

    该论文介绍了一种用于衡量语言提示效用的新度量标准，它被称为 prompt flatness。作者使用它与其他提示选择度量标准相结合，提出了一种改进的提示选择方法，并且在 6 个分类基准测试中平均提高了 5% 的准确性和 10% 的皮尔逊相关性。

    May, 2023

  • (动态) 提示可能足以修复压缩的 LLM 模型

    大型语言模型，困惑度，压缩，基于提示的恢复，推理时动态提示。

    Oct, 2023

  • PROMPT-SAW: 基于关系感知图的文本提示压缩

    使用 PROMPT-SAW 方法进行的压缩提示在可读性方面表现更好，在任务感知和任务无关设置中分别超越了最佳基线模型 14.3 和 13.7，同时压缩了原始提示文本 33.0 和 56.7。

    Mar, 2024

  • 超越 Flesch-Kincaid：基于提示的度量改善教育文本的难度分类

    使用大型语言模型（LLMs）对教育应用，如基于对话的教学，进行研究是一个热门话题。本研究引入并评估了基于提示的文本难度度量，该度量方法相比静态度量具有更好的性能，并展示了利用 LLMs 评估文本对不同教育水平的适应的潜力。

    May, 2024

  • MetricPrompt: 以 Prompting 模型作为 Few-shot 文本分类的相关性评估度量

    本研究提出了 MetricPrompt 方法来解决 few-shot 分类任务的 verbalizer 设计难题，将其转化为文本对相关性评估任务，使用 prompting 模型作为相关性度量，取得了超过手动 verbalizer 和其他自动 verbalizer 设计方法的最新 SOTA 表现。

    Jun, 2023

  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 简单的 LLM 提示是稳健多语言对话评估的尖端技术

    研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在 DSTC11 轨道 4 “开放领域对话系统的自动评估指标” 中分别在鲁棒性和多语言任务中名列前茅，证明了提示性大语言模型的评估能力。

    Aug, 2023

  • 大型语言模型的高效提示方法综述

    在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。

    Apr, 2024