大型语言模型存在地理偏见
在这篇论文中,我们探讨了机器学习在地理空间预测任务中的应用,提出了一种名为 GeoLLM 的新方法,利用大型语言模型中的地理空间信息和开放街道地图的辅助数据,有效地提取地理空间知识,用于测量人口密度等中心问题,相较于最近邻和直接使用提示信息的基准方法,在多个任务上展现了 70% 的性能提升,并且与卫星数据的基准结果相当甚至超出,证明了大型语言模型在地理空间任务上的可行性和潜力。
Oct, 2023
该研究通过探测具备预训练能力的大型语言模型对地理数据的理解程度和与此相关的促进地理空间决策的能力,通过三个实验验证结论,表明合成地理空间知识需要更大规模和更复杂的语言模型,并且对于处理地理空间信息,大型语言模型的潜力和局限性值得研究。
Oct, 2023
本文提出了一种地理表示探究框架,通过自我条件方法和实体 - 国家映射研究了 PLMs 中存在的地理偏见和知识,发现尽管 PLMs 的表示与物理世界的各个国家的关联性惊人地契合,但这种知识在不同语言中分享程度却有所不同,同时说明了大型 PLMs 虽然表现出了地理接近度的概念,但在推断时会过度放大地缘政治偏好。
Dec, 2022
我们提出了一个评估大型语言模型(LLM)判断地理位置之间的斜对角方向能力的基准,并将其应用于三个知名的 LLM:GPT-3.5,GPT-4 和 Llama-2。在测试中,GPT-4 表现出优越的性能,准确率为 55.3%,其次是 GPT-3.5 的 47.3%,Llama-2 的 44.7%。尽管这些模型在可能存在层次性偏差的任务上的准确性较低,但它们大多数情况下能够识别最近的基准方向,显示出类似人类的错误理解,我们讨论了直接用代表地理关系的文本数据来改进 LLM 的空间推理能力的潜力。
Jan, 2024
通过对四个最近发表的大型语言模型进行测试,我们发现大型语言模型在性别刻板印象、职业偏见和句子结构等方面表现出偏见,它们更倾向于选择与性别刻板印象相关的职业,并且在提供自己选择的解释时常常存在事实错误,对于这些模型的偏见行为,我们需要谨慎测试以确保它们对待边缘化个体和社区是公平的。
Aug, 2023
大型语言模型在关键决策过程中被广泛应用,但其中的固有偏见可能导致歧视性结果。本文研究了人口属性和经济偏见在大型语言模型中微妙的关系,这是一个重要但鲜为人知的公平性领域。我们提出了一个新的数据集,包含一百万个英文句子,以系统地量化各个人口群体之间的经济偏见。研究发现,无论是 GPT-2 等成熟模型还是 Llama 2 和 Falcon 等最新模型,都存在普遍的经济偏见。我们证明了在考虑交叉性别时,这些偏见被显著放大,大型语言模型具有从姓名中提取多个人口属性并将其与特定的经济偏见相关联的能力。这项研究突出了在关键实际应用中部署这些强大模型时,积极和强大的偏见缓解技术的紧迫性。
May, 2024
利用大型语言模型作为零样本下一个位置的预测器进行了评估,并展示了其较高的准确性和解释能力,为解决诸如疾病传播和减少污染等社会问题提供了一种新思路。
May, 2024
该研究评估了大型语言模型中城市规模偏差的数量,以及其对工资、企业存在和通勤时间的预测性能的影响,结果显示小型地区确实被低估了。
Mar, 2024
通过分析工作推荐,揭示大型语言模型中的人口统计偏见。研究发现 LLMs 存在与不同人口统计身份相关的偏见,如 Mexican workers 普遍倾向于低薪工作,女性倾向于秘书角色。这突出了在后续应用中量化 LLMs 偏见的重要性,以了解可能造成的伤害和不公平结果。
Aug, 2023