SIGIRMay, 2024

大型语言模型中问题回答中的段落重排之段落专用提示调整

PDF
TL;DR本文提出了一种针对开放域问答中重新排序的特定段落提示调优方法（PSPT），该方法能够通过微调可学习的段落特定软提示，并结合限定的问题 - 段落相关性对段落特定知识进行增强，以基于模型生成问题的对数似然和学到的软提示对检索到的段落进行排序。通过在三个公开可用的开放域问答数据集上使用 Llama-2-chat-7B 模型进行广泛实验，结果证明了所提方法的有效性。
发现论文，激发创造
  • MPrompt: 多级提示调优在机器阅读理解中的探索

    该研究提出了一种多级提示调优方法来增强机器阅读理解，通过利用任务特定、领域特定和上下文相关的提示，提高了输入语义在不同层次上的理解能力。同时，引入了独立性约束来避免冗余，并利用上下文相关知识生成合适的提示。在各种问答格式的 12 个基准测试中进行了广泛实验，相比最先进的方法，平均改进率达到了 1.94%。

    Oct, 2023

  • 个性化对话的选择性提示调整与 LLMs

    SPT 模型能够通过选择性提示调整语言模型以实现个性化对话，大幅提高响应的多样性，并改善其他关键性能指标，从而在促进吸引人和个性化对话生成方面显示出高效性。

    Jun, 2024

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • 通过软提示调整大型语言模型以辅助密集检索

    本论文提出了软提示调整强化密集检索的 SPTAR 模型，并可利用少量的真实数据优化特定的软提示。在实验中，SPTAR 在密集检索任务中获得了比 BM25 和基于 LLMs 的增强方法更优秀的结果。

    Jul, 2023

  • LoPT: 低秩提示调节用于参数高效语言模型

    在本论文中，我们提出了一种名为 LoPT 的低秩模型，用于优化提示信息，通过减少可训练参数数量，实现与完全参数的提示优化相似的效果，同时相较于现有方法需要的参数数量减少了 5 到 20 倍。

    Jun, 2024

  • 关于 prompt tuning 在自然语言处理中的可迁移性

    本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

    Nov, 2021

  • 利用语言模型提示的多跳 QA 的少样本重新排序

    本文提出了一种基于大型语言模型的 PromptRank 方法，可用于多跳 QA 的少样本重新排序，该方法构建一个基于指令的提示，在给定问题和路径提示的条件概率下计算给定问题和文档路径之间的相关性得分，并且在 HotpotQA 数据集上具有强大的检索性能。

    May, 2022

  • 监督式提示训练

    通过使用监督性提示训练（Supervisory Prompt Training）方法，我们提出了一种新颖的方法，可以自动地生成高效的提示，从而提高大型语言模型（LLMs）的性能和减少幻觉，为传统的模型微调提供了一种高效且可扩展的替代方案。

    Mar, 2024

  • SPT：多任务提示学习的半参数提示调整

    SPT 是一种半参数化的提示微调方法，其包含一个内存库，可以根据离散提示检索记忆提示，并通过 Fine-Tuning GLUE 数据集以及在五个自然语言处理任务类别下评估零 - shot 泛化以及在 SuperGLUE 数据集上预训练，众多实验证明了其有效性。

    Dec, 2022

  • 适应缺少样本的自然语言生成的比例调优

    本文研究了参数高效微调方法和少样本自然语言生成，提出了一个超越传统方法且在训练成本上没有明显增加的方法，同时通过中间实验证明了该方法在少样本场景中的卓越可迁移性，为数据不充足和计算有限的情况提供了解决方案。此外，综合比较了多种参数高效微调方法，揭示了在少样本自然语言生成任务中某些方法在挑战性数据集上可能存在困难。

    Sep, 2023