Jun, 2024

PromptDSI：基于提示的无需复习的逐实例增量学习用于文档检索

PDF
TL;DRPromptDSI 是一种无需重复训练的、基于提示的增量学习方法，使用冻结的 PLM 编码器，并利用其强大的表示能力来高效地索引新的文集，同时维持稳定性和适应性的平衡。该方法通过消除基于提示的持续学习方法的初始前向传播来减少训练和推理时间，并提出了一种基于主题的提示池策略，使用神经主题嵌入作为固定的键，以确保多样化和有效的提示使用，并解决查询键匹配机制崩溃引起的参数低效利用的挑战。我们的实证评估表明，PromptDSI 在管理遗忘方面与 IncDSI 相当，同时在新的文集上提高召回率超过 4%。
differentiable search indexpre-trained language modelsdocument retrievalincremental learningprompt-based approach
发现论文，激发创造
  • DSI++：使用新文档更新 Transformer 记忆

    DSI++ 是一项针对可微搜索引擎的持续学习挑战，旨在在索引新文档的同时能够回答先前和新文档相关的查询，通过训练集合内的平缓局部最小值和引入生成性记忆等方法，成功缓解了模型遗忘现象，并大幅提高了检索能力。

    Dec, 2022

  • IncDSI: 增量更新文档检索

    Differentiable Search Index 是最近提出的一种用于文档检索的范例，通过将文档语料库的信息编码在神经网络的参数中，并直接将查询映射到相应的文档。本文提出了一种名为 IncDSI 的方法，可以在实时环境下添加文档（每个文档约 20-50ms），而无需对整个数据集或其部分进行重新训练。我们将文档添加视为一个约束优化问题，以最小程度地修改网络参数。尽管速度快了数个数量级，我们的方法与在整个数据集上重新训练模型的方法具有竞争力，并能够实时更新的文档检索系统的开发。IncDSI 的代码可在此 URL 获得。

    Jul, 2023

  • 面向实例感知的提示学习用于语言理解和生成

    本文提出了一种基于实例的提示学习方法，用于不同实例的学习。该方法在双向和单向的 PLMs 上得到了相当大的提升，并在 SuperGLUE few-shot learning 基准测试上实现了最好的结果。

    Jan, 2022

  • 预训练语言模型的实例级提示调整

    本文提出了 Instance-wise Prompt Tuning （IPT）方法，该方法是基于 Prompt Learning 的新型范式，利用输入数据实例注入知识来生成更富有信息量和具体的上下文信息，并在多个任务和资源设置中显着优于任务为基础的 Prompt Learning 方法，达到仅有 0.5％-1.5％调整参数时的基准微调性能。

    Jun, 2022

  • 解耦知识与记忆：基于检索增强的提示学习

    RetroPrompt 是一种用于自然语言处理的新型学习方法，可有效缓解模型在学习过程中存在的记忆化问题，进而提高其泛化能力并在少样本场景中表现良好。

    May, 2022

  • 检索增强的视觉提示学习用于少样本分类

    本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

    Jun, 2023

  • 面向多语言稠密检索的软提示解码

    本文提出了 KD-SPD 方法，透過 soft prompt decoding 處理多種語言之雜亂和不平衡性，運用知識蒸餾戰略，將 teacher model 訓練出的檢索知識轉移到多語言文檔編碼器上，實驗顯示在三個多語言檢索數據集中表現優於主流的競爭算法，具有更少的語言偏見和更好的零樣本轉移能力。

    May, 2023

  • 基于提示池的逐步增加分类的对话状态跟踪

    我们提出了一种使用提示池方法的持续学习方案，能够在测试中自动识别任务和选择适当的提示，并结合回放缓冲区进一步提高模型性能。

    Nov, 2023

  • De-DSI: 分散可微搜索索引

    De-DSI 是一种新颖的框架，通过将大型语言模型（LLMs）与信息检索真正的分布式化相结合，特别是在分布式环境中采用可微分搜索索引（DSI）的概念，以有效地将新颖的用户查询与文档标识符连接起来，在仅使用查询 - 文档标识符对上进行操作。该框架通过引入 DSI 模型的集合来提高可扩展性，其中数据集被分割为较小的片段进行单独的模型训练。通过使用波束搜索来识别顶级文档标识符并应用 softmax 函数进行评分归一化，从而选择具有最高得分的文档进行检索。该分布式实现表明检索成功率与集中式方法相当，同时具有将计算复杂性分布到网络中的额外好处。该设置还允许通过磁力链接检索多媒体项目，消除了平台或中介的需求。

    Apr, 2024

  • AdaPrompt：基于提示的自然语言处理自适应模型训练

    通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

    Feb, 2022