SIGIRMay, 2022

P^3 Ranker：基于提示学习和预微调的缓解预训练和排名微调之间差距方法

PDF
TL;DR本文研究了使用预训练语言模型（PLMs）来进行搜索排名时遇到的两个问题：训练模式和任务知识之间的差距。我们提出了一种称为 P³ Ranker 的模型，该模型使用基于提示的学习将排名任务转换为预训练模式，并使用预训练初始化模型，以尽可能少的数据实现适应该任务，并在 MS MARCO 和 Robust04 上表现出优异的表现，可用于 data-efficient 的 PLM 适应。
pre-trained language modelssearch rankingtraining signalspre-finetuningfew-shot ranking
发现论文，激发创造
  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • 基于预训练语言模型的百度搜索排名

    本文介绍了将预训练语言模型（PLMs）引入搜索引擎的相关技术及其在实际应用中所面临的问题，使用 ERINE 语言模型以及创新的预训练策略、调整排列信号的方法，成功提高搜索引擎的性能。

    May, 2021

  • 元学习差异性：为大型语言模型准备高效迁移

    该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

    Jul, 2022

  • PerPLM：通过特定作家中间学习和提示个性化微调预训练语言模型

    利用个性化中间学习提取作家文本的任务无关特征，通过使用作家特定提示来个性化统一的预训练语言模型，提高文本理解任务的准确性。

    Sep, 2023

  • 多视图图对比学习的提示调优

    我们提出了一种多视角图对比学习方法，并为其设计了提示调整方法，以缩小预训练和下游任务之间的差距。

    Oct, 2023

  • 不要停止预训练？使基于提示的微调更加强大的学习者

    本研究探讨了传统的预训练语言模型在特定任务下加以微调是否能提高性能的假设，并提出了基于提示的持续预训练方法 (PCP)。实验证明，相较于传统方法，PCP 在 21 个基准测试中表现更好。

    May, 2023

  • 优化预训练语言模型加速专题投资

    Prompt Tuning 对我们通常用 Pretrained Language Models 进行的多标签文本分类任务有着更好的性能和计算效率。

    Sep, 2023

  • 大型语言模型具有配对排名提示的有效文本排名器

    本文提出了一种新的技术叫做 Pairwise Ranking Prompting (PR)，通过使用适当的排名提示，减少了 LLMs 的负担，使用 moderate-sized open-sourced LLMs 在标准的基准测试中实现了最先进的排名表现。

    Jun, 2023

  • SGL-PT: 具有图形提示调整的强大图形学习器

    本文提出了一种名为 SGL-PT 的新框架，其中采用 “预训练、提示和预测” 的学习策略，通过采用有生成和对比自监导的结构图（SGL）和基于口头指导的方式，将预训练和微调统一到了一起，从而在图分类任务方面取得了较好的成果。

    Feb, 2023