CommunityLM: 从语言模型中探究党派世界观
通过使用大规模语言模型(LLMs)来准确解读和预测政治偏见在社交媒体平台上充斥的政治性讨论,本研究创新性地采用了一个指导调整的 LLM,以反映一系列政治意识形态。我们提出了一个综合的分析框架,包括党派偏见差异评估和党派倾向预测,以评估模型在立场、情绪和道德基础等方面与现实政治意识形态保持一致。研究发现模型在捕捉情绪和道德细微差别方面的有效性,但在立场检测方面存在一些挑战,突显了 NLP 工具在政治敏感环境中精细化和改进的复杂性和潜力。此研究通过展示 LLMs 中细致的政治理解的可行性和重要性,特别适用于需要敏锐意识到政治偏见的应用,为该领域做出了重要贡献。
Nov, 2023
通过一系列的测试,我们评估了大型语言模型(LLMs)对政治表态的可靠性和一致性,结果表明 LLMs 的态度可靠性随参数数量的增加而增加,较大的模型整体上更偏向左翼政党,但在各项政策方案中存在差异。它们对环境保护、社会福利、法律和秩序表现出(左翼)积极的态度,但对外交政策、移民和经济没有一致的偏好。
Feb, 2024
利用定量框架和流程系统地调查大型语言模型的政治取向,研究结果显示在八个极化话题中,当用户查询涉及职业、种族或政治取向时,大型语言模型倾向于提供与自由派或左倾观点更为接近的回答,而不是保守派或右倾观点。为了避免这些模型提供政治化的回答,用户在构建查询时应谨慎,并选择中立的提示语言。
Mar, 2024
Instruction-finetuned Large Language Models display political leanings, influencing downstream task performance; auditing Llama Chat in the context of EU politics demonstrates its political knowledge and reasoning abilities, offering potential as data-driven conversational engines for political science research.
Mar, 2024
大规模语言模型(LLMs)中嵌入的政治偏好的综合分析表明,当使用具有政治内涵的问题 / 陈述进行调查时,大多数对话型 LLMs 往往生成被大多数政治测试工具诊断为左倾观点的响应,这提供了关于政治偏好可能主要发生在 LLMs 的预训练后期、监督微调和 / 或强化学习(RL)训练阶段的有趣假设的初步证据。
Feb, 2024
通过 OpinionsQA 数据集,本研究提出了一种量化框架,调查语言模型中体现的观点与美国 60 个人口群体的观点的一致性,在包括堕胎和自动化在内的话题上,我们发现当前的语言模型与 US 人口集体观点之间存在相当大的不匹配,即使是明确定向于特定人口群体也是如此。
Mar, 2023
通过使用语言模型分析美国政治体系中的政治极化,我们提供了对候选人立场的分析信息,以帮助选民了解其在经济、医疗保健、教育和其他社会问题上的观点,并进一步分析候选人的数据集和使用 “Longformer” 这样更强大的方式,找到每个候选人在其政治观点和背景上的最近邻。
Jan, 2023
该研究使用自然语言处理技术研究了 2020 年美国选举的 Twitter 讨论,通过比较语言模型生成的回复和真实调查结果,提出了一种新的方法来揭示相互关联的多样的意识形态社群中复杂的意识形态。
Feb, 2024
我们从德国的角度评估了当前最流行的开源模型在欧洲联盟内涉及政治问题的偏见,发现较大的模型更倾向于与左翼政党相符,而较小的模型通常保持中立,这凸显了 LLM 的细微行为和语言对其政治立场的重要性。我们的发现强调了对 LLMs 进行严格评估和处理社会偏见的重要性,以保障应用现代机器学习方法的应用程序的完整性和公平性。
May, 2024
本篇研究利用 ChatGPT 等大语言模型对美国 116 届参议员进行纵向比较和分析,并筛选出与其政治思想立场相关的因素,在政治科学等领域进一步开拓了利用大语言模型技术进行测量与收集社会科学数据的新途径。
Mar, 2023