本文提出了一种地理表示探究框架，通过自我条件方法和实体 - 国家映射研究了 PLMs 中存在的地理偏见和知识，发现尽管 PLMs 的表示与物理世界的各个国家的关联性惊人地契合，但这种知识在不同语言中分享程度却有所不同，同时说明了大型 PLMs 虽然表现出了地理接近度的概念，但在推断时会过度放大地缘政治偏好。

Dec, 2022

通过地理学角度研究大型语言模型的地理知识，展示其在地理空间预测中存在的问题性地理偏差，并 quantifies 目前大型语言模型的偏差程度。

Feb, 2024

扩展大型语言模型 (LLM) 到研究结果，观察语言模型在扩展时地理知识是如何演变的，并显示较大的语言模型不能消除训练数据中固有的地理偏见。

Feb, 2024

论文提出了地缘政治偏见的概念 —— 根据语言环境报告不同的地缘政治知识，并通过多语言模型回答多语言、多选问题的数据集 BorderLines 分析了语言模型在不同语言中的政治偏见，这一现象是跨语言领域的独特量化评估，表明与多语言的人类不同，LMs 的知识在不同的语言中不一致。

May, 2023

使用自定义目标进行微调，研究和实施了一种地理抹除形式，均衡地捕捉 LLM 中低频率的国家提及，从而减轻了地理抹除现象。

Oct, 2023

我们提出了一个评估大型语言模型（LLM）判断地理位置之间的斜对角方向能力的基准，并将其应用于三个知名的 LLM：GPT-3.5，GPT-4 和 Llama-2。在测试中，GPT-4 表现出优越的性能，准确率为 55.3%，其次是 GPT-3.5 的 47.3%，Llama-2 的 44.7%。尽管这些模型在可能存在层次性偏差的任务上的准确性较低，但它们大多数情况下能够识别最近的基准方向，显示出类似人类的错误理解，我们讨论了直接用代表地理关系的文本数据来改进 LLM 的空间推理能力的潜力。

Jan, 2024

为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

Jun, 2021

研究了多语言语言模型不同语言的代表性，发现它们在欧几里得空间中是由独特的几何形状表示的，并且设计了跨语言相似性指数来度量语言之间的距离。结果表明，低资源语言在任何模型中都不如高资源语言表现得好。

May, 2023

本研究使用空间探测任务和地理参考文献，评估了 OPT 和 BLOOM 系列预训练语言模型在代表全球不同人口群体方面的偏见程度。结果显示，这些模型在某些人口群体中表现得更好，而在南亚和东南亚等地的人口群体中则表现较差。分析结果显示，这种偏见不能完全通过社会语言学因素、经济因素或地理因素来解释。因此，本研究的基本结论是，预训练模型不能平等地代表世界人口，存在强烈的地域偏倚。该发现质疑了一种模型适用于所有人口群体的观点。

Mar, 2024

研究了自然语言处理中数据可用性对现代 NLP 系统质量的影响，使用实体识别和链接系统，观察了它们的跨语言一致性，并探讨了解释观察到的数据集分布的地理和经济因素。

Dec, 2021