Jul, 2024
德国政党问答:评估商业大型语言模型的政治偏见和拍马屁行为
GermanPartiesQA: Benchmarking Commercial Large Language Models for
Political Bias and Sycophancy
TL;DR本研究解决了商业大型语言模型(LLMs)在多党制中可能存在的政治偏见和拍马屁行为的评估问题。我们开发了基于投票建议应用程序Wahl-o-Mat的基准数据集GermanPartiesQA,发现所有被评估的LLMs表现出左绿倾向。研究结果显示,LLMs的输出可以在政治场景中进行个性化调整,指向一种更符合上下文的个性化,而不是简单的拍马屁。