May, 2024

LLM-RankFusion：基于 LLM 的排名中内在不一致问题的缓解

PDF
TL;DR使用语言模型比较并排序排名的矛盾问题，我们提出了一种使用 LLM-RankFusion 的方法，它有效地减少了排序的不一致性，提高了排名质量。
ranking passageslarge language modelintrinsic inconsistencyllm-rankfusioninformation retrieval
发现论文，激发创造
  • 无需真实标准的大型语言模型排名

    大语言模型的评估和排名是一个重要的问题，本研究提出了一种新的方法，在没有任何参考数据的情况下，通过考虑三元组模型相互评估来排名这些模型，实验证明该方法可靠地恢复接近真实的排名，为实际使用提供了可行的低资源机制。

    Feb, 2024

  • LLMs 作为事实推理器：现有基准和未来展望的洞见

    通过提出新的数据集 SummEdits 来解决现有基准测试中存在的缺点，该数据集比以前的数据集更高效且高度可重复。然而，大多数 LL 模型在 SummEdits 上表现不佳，最好的 GPT-4 模型仍然比人类的表现差 8％，这凸显了 LL 模型在推理和检测事实不一致方面的能力差距。

    May, 2023

  • 逐步重新排序：研究大型语言模型的预过滤重新排序

    使用人工生成的相关性评分和 LLM 相关性评分，在对信息检索进行重新排序之前进行预过滤，能够有效地过滤掉不相关的段落，并使较小模型如 Mixtral 能够与更大的专有模型（如 ChatGPT 和 GPT-4）具有竞争力。

    Jun, 2024

  • 中间发现：排列自一致性提升大型语言模型的列表排名

    大型语言模型 (LLMs) 在使用上下文方面存在位置偏倚，尤其是在列表排序方面。为解决这个问题，我们提出了置换自一致性，这是一种对黑盒 LLMs 的排序列表输出的自一致性形式。我们的关键思想是通过将提示中的不同列表顺序边际化来产生一个无序偏倚更少的排序。我们在排序和段落重新排序的五个列表排序数据集上进行了实证实验，我们的方法在 GPT-3.5 上相比传统推理提高了 7-18%，在 LLaMA v2 (70B) 上提高了 8-16%，超过了先前的段落重新排序最先进技术。

    Oct, 2023

  • TourRank: 利用大型语言模型进行文件排名的一种锦标赛策略

    通过智能分组减轻 LLM 输入长度的限制，采用类似锦标赛的积分系统确保鲁棒的排序，我们引入了一种名为 TourRank 的新型文件排名方法，实验证明 TourRank 在合理的成本下实现了最先进的性能。

    Jun, 2024

  • LLM-Blender：用成对排名和生成融合集合大型语言模型

    本文介绍了使用 LLM-Blender 集成多个开源大型语言模型（LLMs）的框架，并展示了其在混合指令数据集上相对于个体 LLMs 和基线方法的显著性能优势。

    Jun, 2023

  • 提升 LLMs 的信任度：比较和解释 LLMs 的算法

    评估技术在提高大规模语言模型（LLM）的可信度和理解性方面起到了至关重要的作用，通过算法方法和评估指标来评估 LLM 的性能，发现其弱点，并引导其发展以实现更可信赖的应用。

    Jun, 2024

  • 通过辩论深入探究大型语言模型的内部一致性

    在人工智能的领域中，大型语言模型（LLMs）需求渐趋增长。本研究通过命题竞辩框架来探讨多个 LLMs 之间的持续性以及一致性问题，确立了公正比赛，失调比赛和圆桌比赛的三个阶段，并在多个常识推理数据集上进行了广泛的实验，从而提出了令人信服的解决方案

    May, 2023

  • 动态生成多样性准则以改善逐点 LLM 排名器

    通过多角度评估的一组标准生成排名得分的排序器显著提高了点对点大型语言模型排名器的性能。

    Apr, 2024

  • MrRank：通过多结果排名模型提升问答检索系统

    使用学习排序技术结合不同的信息检索系统，解决大型语言模型中幻觉和过时信息的问题，提高检索问题回答任务的性能，并在 SQuAD 数据集上取得了最先进的结果。

    Jun, 2024