Feb, 2024

元任务提示引发大型语言模型的嵌入

PDF
TL;DR通过使用一种新的无监督嵌入方法，MetaEOL，我们能够从大型语言模型（LLMs）中生成高质量的句子嵌入，而不需要模型微调或任务特定的工程处理。使用元任务提示，MetaEOL 通过一系列精心设计的提示引导 LLMs 生成嵌入，这些提示处理了多个表示方面。我们的综合实验表明，从各种元任务平均得到的嵌入在语义文本相似性（STS）基准测试中表现出了竞争力，并在下游任务中表现优异，并超越了对比训练的模型。我们的发现提出了一种新的嵌入生成规律，并提供了一种多用途、节约资源的嵌入提取方法，适用于不同的句子中心场景。
unsupervised embedding methodmeta-task prompting with explicit one-word limitationsentence embeddingsmeta-task promptingembedding generation
发现论文，激发创造
  • 元提示：用任务无关的支架增强语言模型

    通过引入元提示技术，将单个语言模型转变为多面手指挥者，通过高级指示将复杂任务分解为可管理的子任务，从而提高语言模型的综合性能。元提示方法的任务无关性大大简化了用户交互，而与 Python 解释器等外部工具的无缝集成扩展了其适用性和实用性。在 GPT-4 上进行的实验表明，相比传统的支架方法，使用元提示技术在所有任务上平均效果提高了 17.1%，动态支架方法提高了 17.3%，多身份支架方法提高了 15.2%。

    Jan, 2024

  • 用自动生成的 NLI 数据集提升句子嵌入

    通过自动生成的 NLI 数据集和以往方法相比，使用 Decoder-based 大型语言模型进行 fine-tuning，在无监督学习的情况下改进了句子嵌入的学习，达到了与人工评估相关系数 82.21 的平均水平，从而优于现有方法而不使用大量人工标注的数据集。

    Feb, 2024

  • 统一的任务嵌入跨多个模型：弥合基于提示的大型语言模型及其他模型之间的差距

    在大型语言模型操作的梯度自由方式下，我们提出了一种统一任务嵌入框架（FUTE），将来自各种模型（包括较小的语言模型和使用不同提示的大型语言模型）的任务嵌入进行统一，从而扩展了现有任务嵌入方法在多模型场景中的应用范围和实用性。

    Feb, 2024

  • 帮助语言模型学习更多知识：多维任务提示用于少样本调整

    通过提出多维任务提示学习方法（MTPrompt），将更多的任务相关信息嵌入提示中，以激发大型语言模型中嵌入的知识，从而实现在少样本和五个不同数据集上取得最佳结果，并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。

    Dec, 2023

  • STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

    提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

    Oct, 2022

  • 2023 Eval4NLP 子任务：使用促使大型语言模型作为解释性⽅法的度量

    介绍了 Eval4NLP 2023 共享任务，要求参与者在机器翻译和摘要评估中探索提示和分数提取，并评估了参与者的方法。在没有 fine-tuning 的限制下，最佳系统的表现与使用更大模型开发的最新的无参考度量标准（包括 GEMBA 和 Comet-Kiwi-XXL）相媲美甚至超过，并对 LLMs 的解释的可行性进行了小规模人类评估。

    Oct, 2023

  • 增强生成语言模型中的句子嵌入的简单技术

    本研究挑战了从预训练语言模型（PLMs）中获得句子嵌入所必须的显式单字限制的普遍观点，并通过实验证明了这种方法对于判别模型或生成型 PLMs 的精调并非必需。在此基础上，我们提出了两种创新的提示工程技术，可以进一步增强 PLMs 原始嵌入的表达能力：假装的思路链和知识增强，并详细研究了导致其成功的潜在因素。

    Apr, 2024

  • 元学习和代表性语音化实现有效结构化提示

    本文提出了 MetaPrompter，它使用元学习和软标记器来共同构建任务特定的提示。MetaPrompter 相对于最近的最佳方法表现更好，而 RepVerb 则优于现有的软标记器。

    Jun, 2023

  • 通过基于大型语言模型的文本补充和重写增强嵌入性能

    利用大型语言模型丰富和重写输入文本，改善嵌入模型的性能，并在特定领域取得显著改进。

    Apr, 2024

  • 基于大型语言模型的交互式和可视化提示工程，用于即席任务适应

    本文介绍了一种使用神经语言模型的 zero-shot prompting 方法，在不需要监督训练的情况下解决 ad-hoc 语言任务。我们提出了 PromptIDE 工具，该工具可以帮助用户实验不同的提示词选择，以达到任务指标的优化和数据量的扩展。该工具已在多个现实世界的案例中得到了应用。

    Aug, 2022