本研究提出了一种新的针对文化多样性的基准数据集 DLAMA-v1，并表明英语提示对多语言模型的性能有较大的影响。

Jun, 2023

本文提出了一种地理表示探究框架，通过自我条件方法和实体 - 国家映射研究了 PLMs 中存在的地理偏见和知识，发现尽管 PLMs 的表示与物理世界的各个国家的关联性惊人地契合，但这种知识在不同语言中分享程度却有所不同，同时说明了大型 PLMs 虽然表现出了地理接近度的概念，但在推断时会过度放大地缘政治偏好。

Dec, 2022

本研究使用空间探测任务和地理参考文献，评估了 OPT 和 BLOOM 系列预训练语言模型在代表全球不同人口群体方面的偏见程度。结果显示，这些模型在某些人口群体中表现得更好，而在南亚和东南亚等地的人口群体中则表现较差。分析结果显示，这种偏见不能完全通过社会语言学因素、经济因素或地理因素来解释。因此，本研究的基本结论是，预训练模型不能平等地代表世界人口，存在强烈的地域偏倚。该发现质疑了一种模型适用于所有人口群体的观点。

Mar, 2024

该研究通过分析基于法律的预训练语言模型的性能，可以得出结论，领域特定的预训练语言模型的开发包括模型的大小和先前的法律知识两个方面。

May, 2023

通过使用传统的分类器探测和最小描述长度探测技术，我们研究了不同的单 GPU 预训练语言模型对多个英文数据集的社会人口知识。结果表明，PLMs 确实编码了这些社会人口学方面的知识，并且在一些测试的 PLMs 的层之间分散。我们进一步进行了多语言分析，并调查了补充培训的影响，以进一步探讨在何种程度，何处以及何种数量的预训练数据的情况下编码知识。我们的总体结果表明，社会人口知识仍然是 NLP 领域的一大挑战。

Nov, 2022

该研究使用多语言数据集探索预训练语言模型中所编码的隐喻性信息，结果显示这些模型的中间层主要包含了隐喻性知识，并且该知识在多语言和多数据集中具有泛化性。

Mar, 2022

在这篇论文中，我们探讨了机器学习在地理空间预测任务中的应用，提出了一种名为 GeoLLM 的新方法，利用大型语言模型中的地理空间信息和开放街道地图的辅助数据，有效地提取地理空间知识，用于测量人口密度等中心问题，相较于最近邻和直接使用提示信息的基准方法，在多个任务上展现了 70% 的性能提升，并且与卫星数据的基准结果相当甚至超出，证明了大型语言模型在地理空间任务上的可行性和潜力。

Oct, 2023

该研究通过探测具备预训练能力的大型语言模型对地理数据的理解程度和与此相关的促进地理空间决策的能力，通过三个实验验证结论，表明合成地理空间知识需要更大规模和更复杂的语言模型，并且对于处理地理空间信息，大型语言模型的潜力和局限性值得研究。

Oct, 2023

该研究创建了一个跨 23 种不同语言的多语言基准测试，旨在评估语言模型中的事实知识检索能力，并提出了基于语言切换的方法来提高多语言模型获取知识的能力。

Oct, 2020

通过使用结构化知识和大型生成模型，在多个偏见维度上以半自动的方式构建多样化反事实数据扩充（CDA），我们提出了一种模块化地消除预训练语言模型中的多个偏见维度。我们强调现有的去偏见方法未考虑多个社会偏见之间的相互作用，并提出了一种在各种社会偏见之间利用协同效应、能够同时进行多偏见去偏见的模型。通过在多个任务和多种语言上进行广泛评估，证明了我们的方法的有效性。

Feb, 2024