利用现实世界和生成的新闻文章语料库量化生成式媒体偏见
本研究旨在测量大型语言模型中社会和经济偏见的媒体偏见,以及在预训练数据中表现出政治(社会,经济)偏见的先验模型对高风险社会导向任务的公平性的影响。结果发现先验模型确实存在政治倾向,这可能加剧原始数据中的偏见并将其传播到误导检测器之类的下游模型中,本研究讨论了这些发现对NLP研究的影响,并提出了减轻不公平的未来方向。
May, 2023
调查了七种代表性大型语言模型生成的AI生成内容的性别和种族偏见,研究发现每个语言模型生成的内容存在明显的性别和种族偏见,其中ChatGPT生成的内容偏见最低且能够拒绝产生带有偏见的内容。
Sep, 2023
通过使用大规模语言模型(LLMs)来准确解读和预测政治偏见在社交媒体平台上充斥的政治性讨论,本研究创新性地采用了一个指导调整的LLM,以反映一系列政治意识形态。我们提出了一个综合的分析框架,包括党派偏见差异评估和党派倾向预测,以评估模型在立场、情绪和道德基础等方面与现实政治意识形态保持一致。研究发现模型在捕捉情绪和道德细微差别方面的有效性,但在立场检测方面存在一些挑战,突显了NLP工具在政治敏感环境中精细化和改进的复杂性和潜力。此研究通过展示LLMs中细致的政治理解的可行性和重要性,特别适用于需要敏锐意识到政治偏见的应用,为该领域做出了重要贡献。
Nov, 2023
利用定量框架和流程系统地调查大型语言模型的政治取向,研究结果显示在八个极化话题中,当用户查询涉及职业、种族或政治取向时,大型语言模型倾向于提供与自由派或左倾观点更为接近的回答,而不是保守派或右倾观点。为了避免这些模型提供政治化的回答,用户在构建查询时应谨慎,并选择中立的提示语言。
Mar, 2024
我们提出通过分析LLMs生成内容中关于政治问题的内容和风格来衡量政治偏见。我们的提议旨在提供LLMs生成的政治偏见的细致和可解释的度量方法,以向用户提供透明度。我们的研究关注不同的政治问题,如生殖权和气候变化,并从内容和风格两个方面测量政治偏见,以展示我们的框架的可扩展性和可解释性。
Mar, 2024
本研究探讨大型语言模型(LLMs)在立场分类任务中体现的政治偏见,填补了对这类偏见如何影响模型性能的研究空白。通过分析三个数据集和七个LLM,我们发现LLMs在分类政治性立场时表现出显著的性能差异,尤其在目标陈述模糊时表现较差。这一发现为理解LLMs在特定任务中的偏见提供了重要见解。
Jul, 2024
本研究探讨了大语言模型(LLMs)在生成新闻摘要时的政治中立性,尤其关注美国政治中的五个关键议题。通过分析20,344篇新闻文章,发现多款知名LLMs存在明显的亲民主党偏向,尤其在枪支管制和医疗保健上的偏差最为突出。这项研究在即将到来的US选举背景下,提醒社会关注算法对公共话语的影响。
Oct, 2024
本研究分析了开源大型语言模型(LLMs)在性别、宗教和种族上的偏见,填补了现有研究在偏见检测方法上的空白。采用七种偏见触发器生成偏见检测数据集,并通过对比分析不同模型的产生的文本偏见,发现LLMs在不同群体间表现出强烈的极化现象,而语言的切换则引发了各种变异与异常,揭示了文化和语境对偏见表现的影响。
Oct, 2024
本研究解决了政治错误信息对民主过程的影响,探讨了使用最新的大型语言模型(LLMs)作为检测新闻文章政治事实的可靠标注者的方法。通过创建一个多样化的政治数据集并使用LLM生成的标注进行验证,我们提出了一种可扩展且稳健的替代传统事实核查的方法,从而增强媒体的透明度和公众信任。
Nov, 2024