利用现实世界和生成的新闻文章语料库量化生成式媒体偏见
通过使用大规模语言模型(LLMs)来准确解读和预测政治偏见在社交媒体平台上充斥的政治性讨论,本研究创新性地采用了一个指导调整的 LLM,以反映一系列政治意识形态。我们提出了一个综合的分析框架,包括党派偏见差异评估和党派倾向预测,以评估模型在立场、情绪和道德基础等方面与现实政治意识形态保持一致。研究发现模型在捕捉情绪和道德细微差别方面的有效性,但在立场检测方面存在一些挑战,突显了 NLP 工具在政治敏感环境中精细化和改进的复杂性和潜力。此研究通过展示 LLMs 中细致的政治理解的可行性和重要性,特别适用于需要敏锐意识到政治偏见的应用,为该领域做出了重要贡献。
Nov, 2023
我们提出通过分析 LLMs 生成内容中关于政治问题的内容和风格来衡量政治偏见。我们的提议旨在提供 LLMs 生成的政治偏见的细致和可解释的度量方法,以向用户提供透明度。我们的研究关注不同的政治问题,如生殖权和气候变化,并从内容和风格两个方面测量政治偏见,以展示我们的框架的可扩展性和可解释性。
Mar, 2024
在大语言模型 (LLMs) 时代,我们发现许多现有的假新闻检测器存在显著偏见,更容易将 LLMs 生成的内容标记为假新闻,而常常误将人类撰写的假新闻分类为真实。为了解决这个问题,我们引入了一种对抗训练与 LLMs 重写的真实新闻相结合的缓解策略,从而在人类和 LLMs 生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究,我们发布了两个全面的数据集 “GossipCop++” 和 “PolitiFact++”,将经人工验证的文章与 LLMs 生成的假新闻和真实新闻相结合。
Sep, 2023
我们从德国的角度评估了当前最流行的开源模型在欧洲联盟内涉及政治问题的偏见,发现较大的模型更倾向于与左翼政党相符,而较小的模型通常保持中立,这凸显了 LLM 的细微行为和语言对其政治立场的重要性。我们的发现强调了对 LLMs 进行严格评估和处理社会偏见的重要性,以保障应用现代机器学习方法的应用程序的完整性和公平性。
May, 2024
本研究探讨新闻编辑中的去偏见化问题,并评估了对话式大型语言模型在此任务中的有效性。我们设计了一份适用于新闻编辑的评估清单,使用公开可得的媒体偏见数据集的子集获取了三种流行的对话式模型生成的文字,并按照设计的清单对这些文字进行了评估。此外,我们还将这些模型作为评估者,用于检查去偏见模型输出的质量。我们的研究结果表明,没有一个对话式大型语言模型能够完美地进行去偏见化。值得注意的是,一些模型,包括 ChatGPT,引入了不必要的修改,可能会影响作者的风格并产生错误信息。最后,我们还表明这些模型在评估去偏见输出的质量方面不如领域专家表现出色。
Apr, 2024
本研究旨在测量大型语言模型中社会和经济偏见的媒体偏见,以及在预训练数据中表现出政治(社会,经济)偏见的先验模型对高风险社会导向任务的公平性的影响。结果发现先验模型确实存在政治倾向,这可能加剧原始数据中的偏见并将其传播到误导检测器之类的下游模型中,本研究讨论了这些发现对 NLP 研究的影响,并提出了减轻不公平的未来方向。
May, 2023
记者在使用大型语言模型(LLMs)时存在与 AI 的互动,而研究揭示了记者如何向 LLM 提供敏感材料并以有限的干预发表机器生成的文章,因此呼吁进一步探讨 AI 的负责任使用以及在新闻环境中使用 LLMs 的明确准则和最佳实践。
Jun, 2024
调查了七种代表性大型语言模型生成的 AI 生成内容的性别和种族偏见,研究发现每个语言模型生成的内容存在明显的性别和种族偏见,其中 ChatGPT 生成的内容偏见最低且能够拒绝产生带有偏见的内容。
Sep, 2023
利用新闻媒体进行数据分析,我们形成了一个包含十个类别的人工智能影响分类法,并通过评估模型发现,细调的模型与新闻媒体所识别的负面影响分类几乎一致,而指令型模型则在某些类别的影响生成上存在差距。这项研究凸显了当用于预测影响时,最先进的 LLMs 存在潜在偏见,并展示了将较小的 LLMs 与新闻媒体所反映的多样化影响进行调整以更好地反映这些影响的优势。
Jan, 2024