政治偏见对大型语言模型在立场分类中表现的影响研究
通过 OpinionGPT 演示,我们展示了 OpinionGPT 网页应用,用户可以提问并选择他们希望调查的各种偏见。通过对代表不同偏见的文本进行 fine-tuning,提供模型答案的比较,以增强透明度和显性化地处理偏见。
Sep, 2023
以ChatGPT为例,本研究探讨了大型语言模型(LLMs)在感知和解释复杂社会政治环境方面的能力,特别在政治辩论中进行了上下文分析,旨在揭示LLMs在解释和裁决“好论点”时其决策过程和内在偏见。通过应用Activity Dependency Networks(ADNs)提取LLMs对这种评估的隐含标准,阐述了规范价值如何影响这些感知。讨论了我们的发现对人工智能对齐和偏见减轻的影响。
Nov, 2023
通过使用大规模语言模型(LLMs)来准确解读和预测政治偏见在社交媒体平台上充斥的政治性讨论,本研究创新性地采用了一个指导调整的LLM,以反映一系列政治意识形态。我们提出了一个综合的分析框架,包括党派偏见差异评估和党派倾向预测,以评估模型在立场、情绪和道德基础等方面与现实政治意识形态保持一致。研究发现模型在捕捉情绪和道德细微差别方面的有效性,但在立场检测方面存在一些挑战,突显了NLP工具在政治敏感环境中精细化和改进的复杂性和潜力。此研究通过展示LLMs中细致的政治理解的可行性和重要性,特别适用于需要敏锐意识到政治偏见的应用,为该领域做出了重要贡献。
Nov, 2023
利用定量框架和流程系统地调查大型语言模型的政治取向,研究结果显示在八个极化话题中,当用户查询涉及职业、种族或政治取向时,大型语言模型倾向于提供与自由派或左倾观点更为接近的回答,而不是保守派或右倾观点。为了避免这些模型提供政治化的回答,用户在构建查询时应谨慎,并选择中立的提示语言。
Mar, 2024
我们提出通过分析LLMs生成内容中关于政治问题的内容和风格来衡量政治偏见。我们的提议旨在提供LLMs生成的政治偏见的细致和可解释的度量方法,以向用户提供透明度。我们的研究关注不同的政治问题,如生殖权和气候变化,并从内容和风格两个方面测量政治偏见,以展示我们的框架的可扩展性和可解释性。
Mar, 2024
我们从德国的角度评估了当前最流行的开源模型在欧洲联盟内涉及政治问题的偏见,发现较大的模型更倾向于与左翼政党相符,而较小的模型通常保持中立,这凸显了LLM的细微行为和语言对其政治立场的重要性。我们的发现强调了对LLMs进行严格评估和处理社会偏见的重要性,以保障应用现代机器学习方法的应用程序的完整性和公平性。
May, 2024
通过建立新的数据集并使用九个大语言模型,本研究研究了人工撰写文章和机器生成文章之间的性质变化以及政治偏见的检测,结果显示基准模型和经过调整的模型之间存在显著差异,并且大语言模型在分类器角色中也显示出政治偏见,为进一步研究大语言模型政治偏见及其影响提供了一个基础。
Jun, 2024
大型语言模型(LLMs)具有卓越的性能,在各种自然语言处理(NLP)任务中表现出色。本文通过一种新颖的基于特征的分析方法研究了LLMs内部偏见的传播。我们的发现揭示了LLMs中偏见的复杂性质并强调了定制的去偏方法的必要性,为有效缓解偏见机制和途径提供了更深入的理解。
Jun, 2024
本文研究了大型语言模型(LLM)作为标注者时存在的偏见,特别是政党提示对标注决策的影响。通过重复2018年的实验,研究发现LLM在评判政治陈述时不仅运用政党信息,还反映出其训练数据的偏见,且LLM即使在面对中间偏左和偏右的政党陈述时也显示出明显偏见。这一发现表明LLM的标注决策存在系统性问题,对使用LLM进行政治内容分析的影响深远。
Aug, 2024
本文针对大型语言模型(LLMs)在与自身对抗时的偏见稳健性进行研究,填补了以往研究的空白。我们提出了一种新方法,让两个LLM进行自我辩论,从而评估偏见的持久性及模型在误信息和有害观点转变中的脆弱性。实验结果揭示了偏见在不同语言和文化背景下的持久性和灵活性,具有重要的研究和应用价值。
Oct, 2024