Dec, 2022

语言模型的地理和地缘政治偏差

PDF
TL;DR本文提出了一种地理表示探究框架，通过自我条件方法和实体 - 国家映射研究了 PLMs 中存在的地理偏见和知识，发现尽管 PLMs 的表示与物理世界的各个国家的关联性惊人地契合，但这种知识在不同语言中分享程度却有所不同，同时说明了大型 PLMs 虽然表现出了地理接近度的概念，但在推断时会过度放大地缘政治偏好。
pretrained language modelsgeographic biasknowledgeentity-country mappingsgeopolitical favouritism
发现论文，激发创造
  • 大型语言模型存在地理偏见

    通过地理学角度研究大型语言模型的地理知识，展示其在地理空间预测中存在的问题性地理偏差，并 quantifies 目前大型语言模型的偏差程度。

    Feb, 2024

  • 评估语言模型中的地理扭曲：迈向公平表达的关键一步

    研究语言模型中的地理偏见，通过比较地理和语义距离，提出四个指标来评估这些偏见，结果强调了检查和纠正语言模型的空间偏见对于确保准确和公平的表达是至关重要的。

    Apr, 2024

  • 预训练语言模型对某些地理人群的表现优于其他人群

    本研究使用空间探测任务和地理参考文献，评估了 OPT 和 BLOOM 系列预训练语言模型在代表全球不同人口群体方面的偏见程度。结果显示，这些模型在某些人口群体中表现得更好，而在南亚和东南亚等地的人口群体中则表现较差。分析结果显示，这种偏见不能完全通过社会语言学因素、经济因素或地理因素来解释。因此，本研究的基本结论是，预训练模型不能平等地代表世界人口，存在强烈的地域偏倚。该发现质疑了一种模型适用于所有人口群体的观点。

    Mar, 2024

  • 该地不只是你我之地：评估语言模型中的地缘政治偏见

    论文提出了地缘政治偏见的概念 —— 根据语言环境报告不同的地缘政治知识，并通过多语言模型回答多语言、多选问题的数据集 BorderLines 分析了语言模型在不同语言中的政治偏见，这一现象是跨语言领域的独特量化评估，表明与多语言的人类不同，LMs 的知识在不同的语言中不一致。

    May, 2023

  • 自然语言模型中地理表现的缩放规律

    扩展大型语言模型 (LLM) 到研究结果，观察语言模型在扩展时地理知识是如何演变的，并显示较大的语言模型不能消除训练数据中固有的地理偏见。

    Feb, 2024

  • 预训练语言模型的地理适应性

    本文提出了一种基于任务的地理适应预训练语言模型的方法，将语言建模和地理预测相结合，并在多任务学习设置下学习语言现象和地理位置之间的关联，经实验证明，地理适应能显著改善预训练语言模型在地理信息相关任务上的表现。

    Mar, 2022

  • 语言生成中的地理抹除

    使用自定义目标进行微调，研究和实施了一种地理抹除形式，均衡地捕捉 LLM 中低频率的国家提及，从而减轻了地理抹除现象。

    Oct, 2023

  • GeoMLAMA：多语言预训练语言模型上的地理多样性常识探针

    本文介绍了一个多语种、跨文化的基准数据集 GeoMLAMA，旨在探究多语种 PLMs 中通用知识的多样性，通过在 11 个标准多语种 PLMs 上的测试，发现尺寸较大的多语种 PLMs 并不一定比尺寸较小的更好地存储多样的概念，语言不一定能很好地反映其本地文化的知识，而一个语言在探索非本国国家的知识时，则可能比探索本国国家的知识更好。

    May, 2022

  • SocioProbe：语言模型学习社会人口统计信息的内容、时间和地点

    通过使用传统的分类器探测和最小描述长度探测技术，我们研究了不同的单 GPU 预训练语言模型对多个英文数据集的社会人口知识。结果表明，PLMs 确实编码了这些社会人口学方面的知识，并且在一些测试的 PLMs 的层之间分散。我们进一步进行了多语言分析，并调查了补充培训的影响，以进一步探讨在何种程度，何处以及何种数量的预训练数据的情况下编码知识。我们的总体结果表明，社会人口知识仍然是 NLP 领域的一大挑战。

    Nov, 2022

  • 大型语言模型具备地理空间知识吗？

    该研究通过探测具备预训练能力的大型语言模型对地理数据的理解程度和与此相关的促进地理空间决策的能力，通过三个实验验证结论，表明合成地理空间知识需要更大规模和更复杂的语言模型，并且对于处理地理空间信息，大型语言模型的潜力和局限性值得研究。

    Oct, 2023