SocioProbe：语言模型学习社会人口统计信息的内容、时间和地点

EMNLPNov, 2022

SocioProbe：语言模型学习社会人口统计信息的内容、时间和地点

SocioProbe: What, When, and Where Language Models Learn about Sociodemographics

Anne Lauscher, Federico Bianchi, Samuel Bowman, Dirk Hovy

TL;DR通过使用传统的分类器探测和最小描述长度探测技术，我们研究了不同的单 GPU 预训练语言模型对多个英文数据集的社会人口知识。结果表明，PLMs 确实编码了这些社会人口学方面的知识，并且在一些测试的 PLMs 的层之间分散。我们进一步进行了多语言分析，并调查了补充培训的影响，以进一步探讨在何种程度，何处以及何种数量的预训练数据的情况下编码知识。我们的总体结果表明，社会人口知识仍然是 NLP 领域的一大挑战。

Abstract

pre-trained language models (PLMs) have outperformed other NLP models on a wide range of tasks. Opting for a more thorough understanding of their capabilities and inner workings, researchers have established the extend to which they capture lower-level knowledge like grammaticality, an

pre-trained language models sociodemographic knowledge classifier probing information-theoretic minimum description length probing multilingual analysis

发现论文，激发创造

人口统计因素能否改进文本分类？在 Transformer 时代重访人口统计自适应

研究人口因素如何影响语言，使用预先训练的转换器语言模型通过多任务学习适应语言表示，结果表明人口统计特征对 PLMs 的效果不明显。

Oct, 2022

Transformer 模型在社会人口调整中的局限性

本文旨在探究在新型预训练变压器模型下是否也存在特定群体的社会人口因素能够大幅提高自然语言处理任务性能的情形，研究使用领域特定知识等有效的特化方法对性别和年龄这两个社会人口维度进行了适应，通过语言建模和动态多任务学习的组合，将语言表示出社会人口类别的预测，并在英语、德语、法语和丹麦语等四种语言中得到明显的提升，但是，实验结果表明，需要解决领域和语言等诸多影响因素所带来的困扰，才能权衡全面考虑社会人口因素对 NLP 模型的影响。

Aug, 2022

语言模型的地理和地缘政治偏差

本文提出了一种地理表示探究框架，通过自我条件方法和实体 - 国家映射研究了 PLMs 中存在的地理偏见和知识，发现尽管 PLMs 的表示与物理世界的各个国家的关联性惊人地契合，但这种知识在不同语言中分享程度却有所不同，同时说明了大型 PLMs 虽然表现出了地理接近度的概念，但在推断时会过度放大地缘政治偏好。

Dec, 2022

知识增强预训练语言模型综述

本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

Nov, 2022

GeoMLAMA：多语言预训练语言模型上的地理多样性常识探针

本文介绍了一个多语种、跨文化的基准数据集 GeoMLAMA，旨在探究多语种 PLMs 中通用知识的多样性，通过在 11 个标准多语种 PLMs 上的测试，发现尺寸较大的多语种 PLMs 并不一定比尺寸较小的更好地存储多样的概念，语言不一定能很好地反映其本地文化的知识，而一个语言在探索非本国国家的知识时，则可能比探索本国国家的知识更好。

May, 2022

预训练语言模型对某些地理人群的表现优于其他人群

本研究使用空间探测任务和地理参考文献，评估了 OPT 和 BLOOM 系列预训练语言模型在代表全球不同人口群体方面的偏见程度。结果显示，这些模型在某些人口群体中表现得更好，而在南亚和东南亚等地的人口群体中则表现较差。分析结果显示，这种偏见不能完全通过社会语言学因素、经济因素或地理因素来解释。因此，本研究的基本结论是，预训练模型不能平等地代表世界人口，存在强烈的地域偏倚。该发现质疑了一种模型适用于所有人口群体的观点。

Mar, 2024

预训练如何改善基于语篇的翻译？

本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。

May, 2023

ElitePLM：预训练语言模型通用语言能力评估的实证研究

本文介绍了一个对预训练语言模型（PLMs）的普适语言能力进行大规模实证研究的 ElitePLM，并设计了四个评估维度来衡量十种广泛使用的 PLMs，包括记忆、理解、推理和组合。实验结果表明，PLMs 在不同的能力测试中表现出色；下游任务中的微调通常对数据大小和分布敏感；PLMs 在类似任务之间具有出色的可转移性，并且 PLMs 的预测结果在我们的实验中作为开放资源发布，以进行更深入和详细的 PLMs 语言能力分析。这篇论文可以引导未来的工作选择，应用和设计特定任务的 PLMs。

May, 2022

知识增强的预训练语言模型：综述

本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

Oct, 2021

预训练语言模型中的隐喻：跨数据集和语言的探测和普适性研究

该研究使用多语言数据集探索预训练语言模型中所编码的隐喻性信息，结果显示这些模型的中间层主要包含了隐喻性知识，并且该知识在多语言和多数据集中具有泛化性。

Mar, 2022