Jan, 2023

InPars-Light: 高效排序器的成本有效的无监督训练

PDF
TL;DR通过对 InPars 配方进行可重复性研究，我们开发了一种简单但有效的修改版 InPars，称为 InPars-light，它仅使用免费的语言模型 BLOOM 和 7x-100x 较小的排序模型，是第一个真正具有成本效益的基于提示的无监督配方，用于训练和部署神经排名模型，其结果优于 BM25。
发现论文，激发创造
  • InPars-v2: 信息检索高效数据集生成器的大型语言模型

    通过使用开源的大型语言模型和现有强大的重排序器，InPars-v2 提出了一种用于生成训练数据的合成查询 - 文档对的数据集生成器，并通过简单的 BM25 检索管道和使用 InPars-v2 数据微调的 monoT5 重排序器，取得了 BEIR 基准测试的最新最优结果。

    Jan, 2023

  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022

  • 利用 10 个黄金标签从零开始训练最佳 IR 模型的自动优化训练超参数

    我们开发了一种使用少于 100M 参数的小规模神经信息检索模型进行训练的方法，仅需 10 个金标准相关性标签。该方法依赖于使用语言模型生成文档的合成查询，并且关键步骤在于根据训练质量自动优化生成这些查询的 LM 提示。在 BIRCO 基准测试中的实验中，我们发现使用我们的方法训练的模型优于 RankZephyr，并且与 RankLLama 竞争力相当，后者是使用超过 100K 标签训练的 70 亿参数模型。这些发现指出自动提示优化对于合成数据集生成的重要性。

    Jun, 2024

  • 大型语言模型具有配对排名提示的有效文本排名器

    本文提出了一种新的技术叫做 Pairwise Ranking Prompting (PR)，通过使用适当的排名提示，减少了 LLMs 的负担，使用 moderate-sized open-sourced LLMs 在标准的基准测试中实现了最先进的排名表现。

    Jun, 2023

  • 指导压缩使得大型语言模型成为高效的零 - shot 排序器

    通过引入一种新颖的指令提炼方法，将开源的 Large Language Models（LLMs）的成对排序能力提炼为更简单、更高效的逐点排序，以提高 LLMs 的排序性能和效率。

    Nov, 2023

  • Par4Sim -- 文本简化的自适应改写技术

    本研究开发了一个自适应学习系统用于文本简化，从使用数据中改进基于学习排序模型的性能，并通过实验结果表明，该系统在 NDCG@10 评估指标上的得分从 62.88％提高到 75.70％。这是首个使用使用数据对 NLP 组件进行自适应改进的研究。

    Jun, 2018

  • UDAPDR：基于 LLM 加速的无监督域自适应及 Reranker 蒸馏方法

    通过使用大型语言模型 (LLMs) 生成大量合成的查询，可以在不使用大量标记的数据的情况下，有效地优化实现信息检索任务，同时消除因为领域的转变而导致真实世界应用效力降低的问题。

    Mar, 2023

  • InstUPR: 基于指令的无监督大语言模型篇章重排序

    基于大型语言模型（LLM）的无监督段落重排方法 InstUPR 通过引入软分数聚合技术和成对重排技术，实现了在无需额外微调的情况下利用指示调优的 LLM 的重排效果优于无监督基准和指示调优重排方法的结果，实验结果在 BEIR 评测中表明了其有效性和优越性。

    Mar, 2024

  • BERT 排名器在蒸馏下的理解

    本文研究了如何通过蒸馏将 BERT 中的搜索知识传递到更小的排名器中，实验表明，使用适当的蒸馏过程可以实现最高 9 倍速度提升，同时保持最先进的性能。

    Jul, 2020

  • pNLP-Mixer: 一种用于语言处理的高效全 MLP 结构

    介绍了一种低内存、低延迟基于 MLP-Mixer 的 pNLP-Mixer 模型，通过在语言学上指导投影层，实现了高效的语义分析，达到了与 38 倍参数的 mBERT 相当的性能。

    Feb, 2022