Oct, 2023

中间发现：排列自一致性提升大型语言模型的列表排名

PDF
TL;DR大型语言模型 (LLMs) 在使用上下文方面存在位置偏倚，尤其是在列表排序方面。为解决这个问题，我们提出了置换自一致性，这是一种对黑盒 LLMs 的排序列表输出的自一致性形式。我们的关键思想是通过将提示中的不同列表顺序边际化来产生一个无序偏倚更少的排序。我们在排序和段落重新排序的五个列表排序数据集上进行了实证实验，我们的方法在 GPT-3.5 上相比传统推理提高了 7-18%，在 LLaMA v2 (70B) 上提高了 8-16%，超过了先前的段落重新排序最先进技术。
large language modelspositional biaslistwise rankingpermutation self-consistencyorder-independent ranking
发现论文，激发创造
  • LLM-RankFusion：基于 LLM 的排名中内在不一致问题的缓解

    使用语言模型比较并排序排名的矛盾问题，我们提出了一种使用 LLM-RankFusion 的方法，它有效地减少了排序的不一致性，提高了排名质量。

    May, 2024

  • 开放式生成的自我一致性

    本文介绍了一个新的方法，通过扩展自一致性的应用范围并使用轻量级无参数相似函数，改善了大规模预训练语言模型生成的质量和一致性，包括代码生成、自动格式化和文本摘要任务。

    Jul, 2023

  • 基于集合的提示：可证明解决语言模型的序列依赖问题

    这篇论文提出了一种技术，可以确保生成式语言模型在给定的子序列集合上不受顺序相关性的影响，从而消除顺序相关性。结果表明，该方法对预期的准确性影响较小，而且可以应用于任何基于 Transformer 的大语料库模型，对文本生成没有影响，进一步讨论了通过修改输入表示可以获得其他强大的 LLM 性能保证的可能性。

    Jun, 2024

  • 无监督的具有语言模型的对比一致排序

    通过引入对比一致性搜索（CCR）方法，我们研究了语言模型排名任务中的一致性排名，结果证实 CCR 探测优于提示，甚至与提示更大的语言模型性能相当。

    Sep, 2023

  • 大规模语言模型在歧义下的自一致性

    在含糊的整数序列填充任务中，我们在 OpenAI 模型套件上进行了一系列行为实验，发现平均一致性介于 67％和 82％之间，远高于模型一致性随机的预测，并随着模型能力的提高而增加。此外，我们发现模型在自我一致性上具有不良标定性，并且通常倾向于在潜在的答案中分配显著的权重。

    Oct, 2023

  • 大型语言模型具有配对排名提示的有效文本排名器

    本文提出了一种新的技术叫做 Pairwise Ranking Prompting (PR)，通过使用适当的排名提示，减少了 LLMs 的负担，使用 moderate-sized open-sourced LLMs 在标准的基准测试中实现了最先进的排名表现。

    Jun, 2023

  • Rank-without-GPT: 基于开源大型语言模型构建独立的 GPT - 无关的列表排序器

    通过消除对 GPT 模型的依赖，本研究首次构建了有效的零阶科学可复现性的无需 GPT 依赖的排序器，能够在通行回收实验中表现出 13% 超越基于 GPT-3.5 的排序器，并达到了基于 GPT-4 构建的排序器的 97% 有效性。研究结果还显示，现有的点对点排序训练数据对于构建此类基于列表的排序器是不足够的，需要高质量的基于列表的排序数据，呼吁进一步建立人工标注的列表数据资源。

    Dec, 2023

  • 大型语言模型是否总能解决简单问题，如果它们能解决更困难的呢？

    研究中提出了 ConsisEval 基准，用于量化大型语言模型的一致性，并通过相对一致性得分分析改进一致性的潜力。综合实验结果表明，尽管 GPT-4 的一致性得分最高，但仍然对特定问题存在不一致性，这可能是由于多余信息干扰、对问题的错误解读等因素导致的。而能力更强的模型通常具有更高的一致性，但也存在例外情况，并且硬数据能够提高微调和上下文学习的一致性。

    Jun, 2024

  • RankPrompt: 逐步对比使语言模型成为更好的推理者

    通过使用 RankPrompt 方法，LLMs 可以自我评级其回答，从而显著提高 ChatGPT 和 GPT-4 的推理表现。

    Mar, 2024

  • 基于预测的大型语言模型排序

    使用统计框架，我们可以以一定的概率保证，通过人类和强大的大型语言模型的成对比较排名结果覆盖了人类偏好的真实排名。

    Feb, 2024