通过使用 RankPrompt 方法，LLMs 可以自我评级其回答，从而显著提高 ChatGPT 和 GPT-4 的推理表现。

Mar, 2024

此研究旨在探究大型语言模型在推荐系统中的排名能力，通过采用提示模板设计和引入特定策略，研究发现大型语言模型在候选物品的零 - shot 排名上有着很好的表现，但是若考虑历史互动的顺序、位移等因素，不同的提示和启发方法能够对大型语言模型的表现产生影响。

May, 2023

大型语言模型在零样本文档排序任务中展现出令人印象深刻的效果，本研究通过在一致的实验框架下全面评估 Pointwise、Pairwise 和 Setwise 提示方法，考虑模型大小、令牌消耗、延迟等因素，找出各方法之间存在的效果和效率之间的权衡。我们发现，尽管 Pointwise 方法在效率上得分较高，但效果较差；相反，Pairwise 方法在效果上表现出色，但计算开销较大。为了进一步提高基于大型语言模型的零样本排序的效率，我们提出了一种新颖的 Setwise 提示方法，通过减少排名过程中的 LLM 推理次数和提示令牌的消耗量，显著提高了基于大型语言模型的零样本排序的效率。我们使用 TREC DL 数据集和 BEIR 零样本文档排序基准测试了我们的方法，实证结果表明我们的方法在大幅减少计算成本的同时，同时保持了较高的零样本排序效果。

Oct, 2023

通过自动提示工程算法 APEER，大型语言模型在信息检索中的零样本相关性排名取得了显著的性能提升，并展现出更好的跨任务和跨语言模型的可迁移性。

Jun, 2024

大语言模型的评估和排名是一个重要的问题，本研究提出了一种新的方法，在没有任何参考数据的情况下，通过考虑三元组模型相互评估来排名这些模型，实验证明该方法可靠地恢复接近真实的排名，为实际使用提供了可行的低资源机制。

Feb, 2024

利用 Large Language Models（LLMs）实现了文本重新排名，并通过预算约束方法中的预测策略、预算分配和 LLM APIs 的选择，提出了一种高效的文本重新排名方法 EcoRank，实验结果表明其优于其他预算感知的监督和非监督基准方法。

Feb, 2024

研究论文通过引入基于教育领域的 insights 和 lessons，提出了改进大型语言模型评估的新方法，包括利用同行排序算法和同行讨论来提高评估的准确性和与人类判断的一致性，并为探索难以比较的模型提供了空间。

Jul, 2023

我们通过大规模实验和分析发现，零 - shot 大语言模型的排名方法的差异不仅来源于排名算法和模型骨干，而且还很重要的来自于提示元素和用词的选择，实际上，我们在实验中发现，这些后者对排名器的有效性产生的影响有时比实际的排名算法更大，而且在考虑到提示的变化时，排名方法之间的差异变得更加模糊。

Jun, 2024

本研究旨在探索大规模语言模型用于信息检索的零 - shot 重排问题。我们提出了一种新颖的离散提示优化方法 Co-Prompt，并将其应用于零 - shot 重排任务中。实验表明，Co-Prompt 相对于基线有着卓越的重排表现，并且生成更易于人理解的提示。

May, 2023

本文提出了一种基于大型语言模型的 PromptRank 方法，可用于多跳 QA 的少样本重新排序，该方法构建一个基于指令的提示，在给定问题和路径提示的条件概率下计算给定问题和文档路径之间的相关性得分，并且在 HotpotQA 数据集上具有强大的检索性能。

May, 2022