Dec, 2023

Rank-without-GPT: 基于开源大型语言模型构建独立的 GPT - 无关的列表排序器

PDF
TL;DR通过消除对 GPT 模型的依赖，本研究首次构建了有效的零阶科学可复现性的无需 GPT 依赖的排序器，能够在通行回收实验中表现出 13% 超越基于 GPT-3.5 的排序器，并达到了基于 GPT-4 构建的排序器的 97% 有效性。研究结果还显示，现有的点对点排序训练数据对于构建此类基于列表的排序器是不足够的，需要高质量的基于列表的排序数据，呼吁进一步建立人工标注的列表数据资源。
发现论文，激发创造
  • 基于大型语言模型的零样本列表式文档重排序

    在 TREC 网络搜索数据集和 MIRACL 跨语言数据集上，使用无需特定任务训练数据的 Listwise Reranker with a Large Language Model (LRL) 可以作为第一阶段和最终阶段的重新排序方法，在多层文本排序任务中取得了强大的效果。

    May, 2023

  • RankVicuna：零样本列表式文档重排序与开源大型语言模型

    我们介绍了 RankVicuna，它是第一个完全开源的大型语言模型，能够在零样本情况下进行高质量的列表排序。在 TREC 2019 和 2020 深度学习跟踪的实验结果显示，我们可以使用比 GPT-3.5 小得多的 7B 参数模型达到与零样本重新排序相当的有效性，尽管我们的有效性略低于 GPT-4 重新排序。我们希望我们的工作为未来关于使用现代大型语言模型进行重新排序的研究提供基础。我们的全部代码以供重现结果，请访问此 https URL。

    Sep, 2023

  • 大型语言模型可用于零样本推荐系统排序

    此研究旨在探究大型语言模型在推荐系统中的排名能力，通过采用提示模板设计和引入特定策略，研究发现大型语言模型在候选物品的零 - shot 排名上有着很好的表现，但是若考虑历史互动的顺序、位移等因素，不同的提示和启发方法能够对大型语言模型的表现产生影响。

    May, 2023

  • 逐步重新排序：研究大型语言模型的预过滤重新排序

    使用人工生成的相关性评分和 LLM 相关性评分，在对信息检索进行重新排序之前进行预过滤，能够有效地过滤掉不相关的段落，并使较小模型如 Mixtral 能够与更大的专有模型（如 ChatGPT 和 GPT-4）具有竞争力。

    Jun, 2024

  • 无需真实标准的大型语言模型排名

    大语言模型的评估和排名是一个重要的问题，本研究提出了一种新的方法，在没有任何参考数据的情况下，通过考虑三元组模型相互评估来排名这些模型，实验证明该方法可靠地恢复接近真实的排名，为实际使用提供了可行的低资源机制。

    Feb, 2024

  • 大规模语言模型的零射击跨语言再排序用于低资源语言

    研究表明，大型语言模型在各种文档重新排序任务中展现了令人印象深刻的零样本能力。本研究探讨了大型语言模型在非洲语言的跨语言信息检索系统中的重新排序效果，研究结果显示，跨语言重新排序的效果可能与语言模型的多语言能力相关，且在英语中重新排序仍然最为有效。

    Dec, 2023

  • 大型语言模型具有配对排名提示的有效文本排名器

    本文提出了一种新的技术叫做 Pairwise Ranking Prompting (PR)，通过使用适当的排名提示，减少了 LLMs 的负担，使用 moderate-sized open-sourced LLMs 在标准的基准测试中实现了最先进的排名表现。

    Jun, 2023

  • 一种用于大语言模型的高效零 - shot 排名的集合方法

    大型语言模型在零样本文档排序任务中展现出令人印象深刻的效果，本研究通过在一致的实验框架下全面评估 Pointwise、Pairwise 和 Setwise 提示方法，考虑模型大小、令牌消耗、延迟等因素，找出各方法之间存在的效果和效率之间的权衡。我们发现，尽管 Pointwise 方法在效率上得分较高，但效果较差；相反，Pairwise 方法在效果上表现出色，但计算开销较大。为了进一步提高基于大型语言模型的零样本排序的效率，我们提出了一种新颖的 Setwise 提示方法，通过减少排名过程中的 LLM 推理次数和提示令牌的消耗量，显著提高了基于大型语言模型的零样本排序的效率。我们使用 TREC DL 数据集和 BEIR 零样本文档排序基准测试了我们的方法，实证结果表明我们的方法在大幅减少计算成本的同时，同时保持了较高的零样本排序效果。

    Oct, 2023

  • 开源大型语言模型是用于文档排序的强零射击查询似然模型

    本研究针对最近的大型语言模型探究了原本的零样本排名效果，发现这些仅基于非结构化文本数据进行预训练且没有经过监督指导微调的模型具备强大的零样本排名能力。此外，我们还提出了一个新颖的最先进排名系统，将基于大型语言模型的查询似然模型与混合式零样本检索器相结合，无论是在零样本还是少样本场景下都表现出卓越的效果。我们在 this https URL 上公开了我们的代码库。

    Oct, 2023

  • 基于大型语言模型的自然语言生成从逻辑形式的重新排序研究

    通过提出一种新颖的生成和重新排序的方法，本研究强调大型语言模型在自然语言生成中的出色能力，并解决了从逻辑形式（LFs）生成自然语言时遇到的一些问题，该方法能够提高生成输出的语义一致性和流畅性，经过多项实验验证了其有效性。

    Sep, 2023