大型语言模型对报纸政治取向的检测
通过使用 100,000 个瑞士国会候选人的评论，将大型语言模型与不同政治观点对齐，从而克服 ChatGPT 等商业模型的政治偏见，并提出了使用这种模型生成多个观点的平衡概述的方法。
Jun, 2024
利用大型语言模型（LLMs），本文研究了识别误导性与非误导性新闻标题的效果。研究发现模型性能存在显著差异，ChatGPT-4 在一致标注者就误导性标题达成一致意见的情况下表现出更准确的结果。文章强调了人本评估在开发 LLMs 中的重要性，旨在将技术能力与细腻的人类判断力相结合。研究结果对 AI 伦理问题具有借鉴意义，强调了在技术先进的同时，还需要考虑伦理道德和人类解读的微妙性。
May, 2024
通过建立新的数据集并使用九个大语言模型，本研究研究了人工撰写文章和机器生成文章之间的性质变化以及政治偏见的检测，结果显示基准模型和经过调整的模型之间存在显著差异，并且大语言模型在分类器角色中也显示出政治偏见，为进一步研究大语言模型政治偏见及其影响提供了一个基础。
Jun, 2024
利用定量框架和流程系统地调查大型语言模型的政治取向，研究结果显示在八个极化话题中，当用户查询涉及职业、种族或政治取向时，大型语言模型倾向于提供与自由派或左倾观点更为接近的回答，而不是保守派或右倾观点。为了避免这些模型提供政治化的回答，用户在构建查询时应谨慎，并选择中立的提示语言。
Mar, 2024
我们从德国的角度评估了当前最流行的开源模型在欧洲联盟内涉及政治问题的偏见，发现较大的模型更倾向于与左翼政党相符，而较小的模型通常保持中立，这凸显了 LLM 的细微行为和语言对其政治立场的重要性。我们的发现强调了对 LLMs 进行严格评估和处理社会偏见的重要性，以保障应用现代机器学习方法的应用程序的完整性和公平性。
May, 2024
通过使用大规模语言模型（LLMs）来准确解读和预测政治偏见在社交媒体平台上充斥的政治性讨论，本研究创新性地采用了一个指导调整的 LLM，以反映一系列政治意识形态。我们提出了一个综合的分析框架，包括党派偏见差异评估和党派倾向预测，以评估模型在立场、情绪和道德基础等方面与现实政治意识形态保持一致。研究发现模型在捕捉情绪和道德细微差别方面的有效性，但在立场检测方面存在一些挑战，突显了 NLP 工具在政治敏感环境中精细化和改进的复杂性和潜力。此研究通过展示 LLMs 中细致的政治理解的可行性和重要性，特别适用于需要敏锐意识到政治偏见的应用，为该领域做出了重要贡献。
Nov, 2023
利用新闻媒体进行数据分析，我们形成了一个包含十个类别的人工智能影响分类法，并通过评估模型发现，细调的模型与新闻媒体所识别的负面影响分类几乎一致，而指令型模型则在某些类别的影响生成上存在差距。这项研究凸显了当用于预测影响时，最先进的 LLMs 存在潜在偏见，并展示了将较小的 LLMs 与新闻媒体所反映的多样化影响进行调整以更好地反映这些影响的优势。
Jan, 2024
大规模语言模型（LLMs）中嵌入的政治偏好的综合分析表明，当使用具有政治内涵的问题 / 陈述进行调查时，大多数对话型 LLMs 往往生成被大多数政治测试工具诊断为左倾观点的响应，这提供了关于政治偏好可能主要发生在 LLMs 的预训练后期、监督微调和 / 或强化学习（RL）训练阶段的有趣假设的初步证据。
Feb, 2024
本研究探讨新闻编辑中的去偏见化问题，并评估了对话式大型语言模型在此任务中的有效性。我们设计了一份适用于新闻编辑的评估清单，使用公开可得的媒体偏见数据集的子集获取了三种流行的对话式模型生成的文字，并按照设计的清单对这些文字进行了评估。此外，我们还将这些模型作为评估者，用于检查去偏见模型输出的质量。我们的研究结果表明，没有一个对话式大型语言模型能够完美地进行去偏见化。值得注意的是，一些模型，包括 ChatGPT，引入了不必要的修改，可能会影响作者的风格并产生错误信息。最后，我们还表明这些模型在评估去偏见输出的质量方面不如领域专家表现出色。
Apr, 2024