Jul, 2024

将模型评估与人类偏好对齐：减轻语言模型评估中的词汇计数偏差

HTML
PDF
TL;DR使用SLAM展示，在设备上的小型语言模型是与基于API的大型语言模型（如OpenAI的GPT-4）相比，一种可行且成本效益高的替代方案，具有可比的性能和稳定性。这份后续研究详细探讨了如何通过解决偏向高标记数的偏差，来调整LLM评估器与人类评估的偏好之间的差异问题。通过采用贝叶斯统计和t检验来量化此偏差，并开发出重新校准GPTScorer的过程，我们的研究结果在多个应用案例中，显著改进了重新校准的LLM评估器与人类评估之间的斯皮尔曼等级相关分数，例如，在推荐系统的案例中，从-27.27提高到44.55。这些结果强调了在自动化评估中考虑偏差的重要性，以确保公正准确的模型评估。重新校准过程提高了自动评估器的可靠性，从而产生与人类价值观和期望相一致的更好的AI模型。该研究为未来的偏差校正研究提供了强有力的方法，并强调了开发与人类一致的AI评估系统的可行性和益处。
发现论文，激发创造
  • 大型语言模型不是公正的评估器

    本文发现了采用大型语言模型（LLMs）作为评判器来评分候选模型生成内容质量的评估范式中的系统偏差。作者提出了两种校准策略来解决这个问题。经过广泛实验，这种方法成功缓解了评估偏差，与人类判断更加接近。为了促进更加强大的大型语言模型比较的未来研究，作者将文章中的技术集成到一个易于使用的工具包FairEval中，同时结合了人工注释。

    May, 2023

  • 形式胜于内容：大型语言模型的评估偏见

    在评估自然语言生成的过程中，使用大型语言模型 (LLMs) 作为人类评判的替代方法是一种最新的趋势。然而，本研究发现其评估结果存在偏见。为解决这一问题，提出了多维度独立评估系统 (Multi-Elo Rating System)，在提高 LLM 评估质量方面取得了显著成效，但对众包评估没有明显改善，需要进一步探索和改进。

    Jul, 2023

  • 透视偏好：解开大型语言模型对齐中的反馈获取

    通过稀疏反馈的设计选择以及反馈协议对大型语言模型（LLMs）的对齐和评估进行分析，发现评分和排名所推断的偏好在人类和人工智能注释者中有显著差异，并揭示了对齐LLMs评估的方法中的关键缺陷和对反馈协议的强烈依赖。

    Aug, 2023

  • 校准基于LLM的评估器

    自动校准基于大语言模型的评估器以提高与人类评估的相关性。

    Sep, 2023

  • 大型语言模型作为评估者的认知偏差基准测试

    大型语言模型（LLMs）作为通过简单提示和上下文学习的自动评估器已被证明有效。本研究汇集了四个不同规模范围的15个LLMs，并通过系统之间的偏好排序来评估它们的输出响应，如System Star优于System Square。我们引入了LLMs作为评估器的认知偏差基准（CoBBLEr）来评估排序输出的质量，该基准用于衡量LLM评估输出中的六种不同的认知偏差，如自我中心偏差，其中模型倾向于高度评估其自身的输出。我们发现LLMs是有偏差的文本质量评估器，在评估中展示出强烈的偏见基准迹象（在所有模型中的比较平均为40%），这对其作为评估器的稳健性提出了质疑。此外，我们检查了人类和机器偏好之间的相关性，并计算出平均Rank-Biased Overlap（RBO）得分为49.6%，表明机器偏好与人类不一致。根据我们的发现，LLMs可能仍然不能用于与人类偏好对齐的自动注释。我们的项目页面位于此https URL。

    Sep, 2023

  • 解剖人类和LLM偏好

    通过对人类和重要语言模型的偏好进行细致分析，研究发现人类对错误不太敏感，倾向于支持他们的观点的回答，并且当模型承认其局限性时显示出明显的不喜欢。相反地，高级语言模型如GPT-4-Turbo更强调正确性、清晰度和无害性。此外，相似大小的语言模型往往表现出类似的偏好，无论它们的训练方法如何，并且对于仅预训练的语言模型来说，通过对齐进行微调并不显著改变其偏好。最后，研究发现基于偏好的评估可以被有意地操纵，将模型与评委的偏好保持一致将提高评分，而注入评委最不喜欢的属性将降低评分。这导致了显著的评分变化，例如在MT-Bench上高达0.59分（1-10分制），在AlpacaEval 2.0上高达31.94分（0-100分制），突显了这种战略性调整的重要影响。

    Feb, 2024

  • 与人类判断相一致：大型语言模型评估者中的成对优先关系的作用

    使用Pairwise-preference Search（PAIRS）方法，通过对比评估候选文本，解决了大型语言模型（LLMs）在评估中出现的偏差与不连贯问题。

    Mar, 2024

  • 大型语言模型的评估存在不一致和偏见

    本研究通过使用SummEval数据集进行一系列分析，证实了大型语言模型作为评估器在以下方面存在偏见和不一致性：（1）体现对低困惑度文本的偏好；（2）显示具有偏见的评分分布；（3）经历多属性判断时的锚定效应。此外，我们分享了配置大型语言模型评估器以减轻这些限制的方法，通过RoSE数据集的实验证明了与最先进的大型语言模型评估器相比的改进。

    May, 2024

  • 解码偏见：自动化方法与大型语言模型评判者对性别偏见检测

    本研究针对大型语言模型（LLMs）在偏见检测方面的缺乏标准和成本高昂问题，提出了一种自动生成对抗性提示的创新方法，以揭示模型的偏见反应。研究表明，所提出的LLM作为评判者的评估指标与人类评判一致，显示出其在偏见评估中的潜力和重要性。

    Aug, 2024

  • 大型语言模型作为评判者在对齐任务中的系统评估：可解释指标和多样化提示模板

    本研究探讨了大型语言模型（LLM）在对齐任务中作为评判者的可靠性问题，尤其是评估现有评价指标的可解释性和LM内部不一致性的问题。通过开发新的评价框架，本文揭示了不同提示模板对LLM评判者性能的显著影响，并指出测试的LLM评判者与人类评估者之间存在中等对齐水平。本工作为选择用于对齐任务的LLM评判者提供了重要的见解。

    Aug, 2024