以ChatGPT为例，本研究探讨了大型语言模型（LLMs）在感知和解释复杂社会政治环境方面的能力，特别在政治辩论中进行了上下文分析，旨在揭示LLMs在解释和裁决“好论点”时其决策过程和内在偏见。通过应用Activity Dependency Networks（ADNs）提取LLMs对这种评估的隐含标准，阐述了规范价值如何影响这些感知。讨论了我们的发现对人工智能对齐和偏见减轻的影响。

Nov, 2023

借助创新方法，本研究调查了GPT多语言模型中的政治偏见。通过向GPT提出关于美国和中国高级政治问题的相同问题，我们分析了双语回答，发现GPT的简体中文模型在中国的政治问题上的“知识”（内容）和“态度”（情感）存在显著的不一致性。简体中文GPT模型不仅倾向于提供亲中信息，而且对中国问题的消极情感最少，而英文GPT则对中国表现出了更高的消极情感。这种差异可能源于中国的官方审查和中美地缘政治紧张关系，这两个因素影响了GPT双语模型的训练语料库。此外，中英文模型在处理表达语言所代表的问题时，相对于“他们”的问题，对“自己”的问题更不批判。这表明GPT多语言模型可能会根据其训练语言形成“政治身份”和相关的情感偏见。本研究讨论了我们发现对于信息传播和交流在一个日益分裂的世界中的影响。

Dec, 2023

近期自然语言处理的进展，特别是大型语言模型（LLMs）的出现，为构建精确复制人类行为的计算模拟提供了令人兴奋的可能性。然而，LLMs是复杂的统计学习器，缺乏直接的演绎规则，因此容易产生意想不到的行为。本研究突出了LLMs在模拟人类互动方面的局限性，特别关注LLMs在模拟政治辩论方面的能力。我们的发现表明，尽管被指示从特定的政治角度进行辩论，LLM代理倾向于符合模型固有的社会偏见。这种倾向导致了行为模式的偏离，似乎偏离了人类之间已经确立的社会动力学规律。我们使用了一种自动自我微调方法来强化这些观察结果，该方法使我们能够操纵LLM内的偏见，并展示代理随后与改变后的偏见保持一致。这些结果强调了进一步研究的必要性，以开发帮助代理克服这些偏见的方法，是创造更现实模拟的关键一步。

Feb, 2024

通过使用基于人口分布的人口组别信息，我们研究了语言模型在生成与人群相符合的调查回复方面的可行性，并揭示了语言模型中的社会偏见对这类模拟的影响。

Feb, 2024

我们从德国的角度评估了当前最流行的开源模型在欧洲联盟内涉及政治问题的偏见，发现较大的模型更倾向于与左翼政党相符，而较小的模型通常保持中立，这凸显了LLM的细微行为和语言对其政治立场的重要性。我们的发现强调了对LLMs进行严格评估和处理社会偏见的重要性，以保障应用现代机器学习方法的应用程序的完整性和公平性。

May, 2024

使用GPT-3.5和GPT-4等高级大型语言模型对辩论评估进行研究，发现LLMs在评估上的表现超过人类，并超过基于大量数据集微调的最先进方法。同时，研究了LLMs中存在的偏见，包括位置偏见、词汇偏见和顺序偏见，这可能会影响它们的评价判断。我们的发现表明，无论是GPT-3.5还是GPT-4都存在一致偏向于第二个候选回答的偏见，这归因于提示设计。此外，在GPT-3.5和GPT-4中也存在词汇偏见，特别是当含义具有数字或顺序的标签集时，强调在提示设计中需谨慎选择标签的表述。此外，我们的分析表明，这两个模型倾向于认为辩论的结束方是获胜方，暗示存在讨论末尾的偏见。

May, 2024

我们的研究旨在调查用大型语言模型（LLM）能否准确估计德国公众舆论，以投票选择为例。我们生成了一个与2017年德国纵向选举研究受访者个人特征相匹配的虚拟样本。我们要求LLM GPT-3.5预测每个受访者的投票选择，并将这些预测与基于调查的聚合和子群水平的估计进行比较。研究发现，GPT-3.5不能准确预测公民的投票选择，存在偏向绿党和左翼党派的倾向。尽管LLM捕捉到了“典型”选民群体（如党派成员）的倾向，但它忽略了影响个人选民选择的多方面因素。通过研究LLM在一个新环境中对选民行为的预测，我们的研究增加了关于可以利用LLM研究公众舆论的条件的相关研究。研究结果指出了LLM中的意见代表性差异，并强调了将其应用于公共舆论估计时的局限性。

Jul, 2024

本研究解决了商业大型语言模型（LLMs）在多党制中可能存在的政治偏见和拍马屁行为的评估问题。我们开发了基于投票建议应用程序Wahl-o-Mat的基准数据集GermanPartiesQA，发现所有被评估的LLMs表现出左绿倾向。研究结果显示，LLMs的输出可以在政治场景中进行个性化调整，指向一种更符合上下文的个性化，而不是简单的拍马屁。

Jul, 2024

本文研究了大型语言模型（LLM）作为标注者时存在的偏见，特别是政党提示对标注决策的影响。通过重复2018年的实验，研究发现LLM在评判政治陈述时不仅运用政党信息，还反映出其训练数据的偏见，且LLM即使在面对中间偏左和偏右的政党陈述时也显示出明显偏见。这一发现表明LLM的标注决策存在系统性问题，对使用LLM进行政治内容分析的影响深远。

Aug, 2024

本研究解决了生成 AI 模型（如 GPT-3.5 和 4）中意识形态偏见的识别问题，揭示了偏见来自训练数据和过滤算法。研究发现，GPT 输出在语言和社会政治态度的差异中表现出更明显的保守或自由倾向，强调了高质量数据集对减少偏见的重要性。

Sep, 2024