Feb, 2025

偏好泄漏:LLM作为评审的污染问题

TL;DR本研究关注LLM作为评审时可能出现的偏好泄漏污染问题,探讨了数据生成器与评审模型之间的相关性对结果的影响。通过定义三种相关性并进行广泛实验,本文揭示了偏好泄漏广泛存在且难以检测的特性,指出其对模型评估和训练的潜在负面影响。