用户个性化大型语言模型输出中的筛选泡和情感极化
利用定量框架和流程系统地调查大型语言模型的政治取向,研究结果显示在八个极化话题中,当用户查询涉及职业、种族或政治取向时,大型语言模型倾向于提供与自由派或左倾观点更为接近的回答,而不是保守派或右倾观点。为了避免这些模型提供政治化的回答,用户在构建查询时应谨慎,并选择中立的提示语言。
Mar, 2024
通过使用大规模语言模型(LLMs)来准确解读和预测政治偏见在社交媒体平台上充斥的政治性讨论,本研究创新性地采用了一个指导调整的 LLM,以反映一系列政治意识形态。我们提出了一个综合的分析框架,包括党派偏见差异评估和党派倾向预测,以评估模型在立场、情绪和道德基础等方面与现实政治意识形态保持一致。研究发现模型在捕捉情绪和道德细微差别方面的有效性,但在立场检测方面存在一些挑战,突显了 NLP 工具在政治敏感环境中精细化和改进的复杂性和潜力。此研究通过展示 LLMs 中细致的政治理解的可行性和重要性,特别适用于需要敏锐意识到政治偏见的应用,为该领域做出了重要贡献。
Nov, 2023
我们从德国的角度评估了当前最流行的开源模型在欧洲联盟内涉及政治问题的偏见,发现较大的模型更倾向于与左翼政党相符,而较小的模型通常保持中立,这凸显了 LLM 的细微行为和语言对其政治立场的重要性。我们的发现强调了对 LLMs 进行严格评估和处理社会偏见的重要性,以保障应用现代机器学习方法的应用程序的完整性和公平性。
May, 2024
利用大型语言模型(LLM)驱动的对话式搜索系统已经被数亿人使用,并被认为相较于传统搜索带来许多优势。然而,尽管几十年的研究和公众讨论揭示了搜索系统在增加选择性暴露和形成回声室方面的风险 —— 限制了对多样观点的接触,导致意见极化,对于 LLM 驱动的对话式搜索的这种风险了解甚少。我们进行了两个实验来调查:1)LLM 驱动的对话式搜索是否以及如何增加选择性暴露,相较于传统搜索;2)持有与用户观点一致或挑战用户观点的偏见的 LLM 是否会改变这种影响。总体而言,我们发现参与者在使用 LLM 驱动的对话式搜索时更容易查询偏见信息,而偏见强化的 LLM 则加剧了这种偏见。这些结果对 LLM 和对话式搜索系统的发展以及管理这些技术的政策具有重要的影响。
Feb, 2024
通过使用 100,000 个瑞士国会候选人的评论,将大型语言模型与不同政治观点对齐,从而克服 ChatGPT 等商业模型的政治偏见,并提出了使用这种模型生成多个观点的平衡概述的方法。
Jun, 2024
大规模语言模型(LLMs)中嵌入的政治偏好的综合分析表明,当使用具有政治内涵的问题 / 陈述进行调查时,大多数对话型 LLMs 往往生成被大多数政治测试工具诊断为左倾观点的响应,这提供了关于政治偏好可能主要发生在 LLMs 的预训练后期、监督微调和 / 或强化学习(RL)训练阶段的有趣假设的初步证据。
Feb, 2024
本研究旨在测量大型语言模型中社会和经济偏见的媒体偏见,以及在预训练数据中表现出政治(社会,经济)偏见的先验模型对高风险社会导向任务的公平性的影响。结果发现先验模型确实存在政治倾向,这可能加剧原始数据中的偏见并将其传播到误导检测器之类的下游模型中,本研究讨论了这些发现对 NLP 研究的影响,并提出了减轻不公平的未来方向。
May, 2023
我们提出通过分析 LLMs 生成内容中关于政治问题的内容和风格来衡量政治偏见。我们的提议旨在提供 LLMs 生成的政治偏见的细致和可解释的度量方法,以向用户提供透明度。我们的研究关注不同的政治问题,如生殖权和气候变化,并从内容和风格两个方面测量政治偏见,以展示我们的框架的可扩展性和可解释性。
Mar, 2024
语言模型(LMs)代表某些社会群体的观点较好,可能在内容管理和仇恨言论检测等主观任务上发挥作用。本研究旨在探讨 LMs 如何代表不同观点,现有研究主要关注定位对齐,即模型模拟不同群体(如自由派或保守派)的观点和立场的接近程度,而人类交流还包含情感和道德维度。我们定义了情感对齐问题,度量了 LMs 情感和道德色彩在代表不同群体方面的表现。通过比较 36 个 LMs 生成的回应与 Twitter 消息的情感对比,我们观察到 LMs 与意识形态群体都存在显著的不对齐问题。这种不对齐超过了美国的党派分歧。即使将 LMs 定向于特定的意识形态观点,不对齐问题和模型的自由倾向仍然存在,暗示 LMs 内存在系统偏见。
Feb, 2024