DLAMA: 一个用于整理多元文化事实以探究预训练语言模型知识的框架

ACLJun, 2023

DLAMA: 一个用于整理多元文化事实以探究预训练语言模型知识的框架

DLAMA: A Framework for Curating Culturally Diverse Facts for Probing the Knowledge of Pretrained Language Models

Amr Keleg, Walid Magdy

TL;DR本研究提出了一种新的针对文化多样性的基准数据集 DLAMA-v1，并表明英语提示对多语言模型的性能有较大的影响。

Abstract

A few benchmarking datasets have been released to evaluate the factual knowledge of pretrained language models. These benchmarks (e.g., LAMA, and ParaRel) are mainly developed in English and later are translated to form new multilingual versions (e.g., mLAMA, and mParaRel). Results on

pretrained language models multilingual benchmarks factual triples cultural diversity dlama-v1

发现论文，激发创造

GeoMLAMA：多语言预训练语言模型上的地理多样性常识探针

本文介绍了一个多语种、跨文化的基准数据集 GeoMLAMA，旨在探究多语种 PLMs 中通用知识的多样性，通过在 11 个标准多语种 PLMs 上的测试，发现尺寸较大的多语种 PLMs 并不一定比尺寸较小的更好地存储多样的概念，语言不一定能很好地反映其本地文化的知识，而一个语言在探索非本国国家的知识时，则可能比探索本国国家的知识更好。

May, 2022

大规模多元文化知识获取与语言模型基准测试

通过从维基百科文献到链接页面的导航，建立文化知识的多元多样化采集方法与 CultureAtlas 数据集，该数据集涵盖了各种亚国家地理区域和族群，用于评估语言模型在文化多元背景下的表现和开发具有文化敏感和意识的语言模型，以促进数字领域中全球文化的更具包容性和平衡的表达。

Feb, 2024

X-FACTR: 预训练语言模型多语言事实知识检索

该研究创建了一个跨 23 种不同语言的多语言基准测试，旨在评估语言模型中的事实知识检索能力，并提出了基于语言切换的方法来提高多语言模型获取知识的能力。

Oct, 2020

多语言语言模型事实的追溯：独立、共享和转移知识

多语言语言模型中获取事实知识的方式以及如何在不同语言中保持一致的事实知识是一项重要的挑战。

Mar, 2024

Multi - 向性知识评估：利用 FActScore 评估多语言 LLMs 的多区域知识

本研究通过对九种语言进行分析，系统评估了跨语言和地理区域的多语言大型语言模型的事实准确性，发现英语在事实准确性和生成事实的数量方面一直表现优异，并且多语言模型对来自西方大陆的事实信息存在偏见，这些发现凸显了改善多语言事实评估的需求和大型语言模型事实生成中的地理偏差。

Feb, 2024

针对基于提示的生物医学知识探究的预训练语言模型的上下文差异评估

本文提出了一种新的上下文变量提示和理解 - 困惑 - 误解 (UCM) 度量，以改善 PLMs 在生物医学知识三元组上的性能，并提出新颖的 “误解” 概念来评估不同 PLMs 学习的知识，实验表明这可以使 BioLAMA 对大型 N-M 关系和稀有关系更友好。

Nov, 2022

研究大型语言模型的文化一致性

通过调查人类社会学的实际问卷与模型响应的对比，我们的研究发现，大型语言模型 (LLMs) 在两个维度上表现出更高的文化一致性，即当以特定文化的主要语言作为提示时，以及当使用该文化所采用的多语言精炼混合体系进行预训练时，对于模拟调查的不同人物与敏感社会议题，模型的文化一致性更加重要。最后，我们引入了人类学提示的创新方法，利用人类学推理增强文化一致性。我们的研究强调了更平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性，对于跨语言传递的影响的必要性。

Feb, 2024

LaMDA：面向对话应用的语言模型

LaMDA 是一种专门用于对话的基于 Transformer 的神经语言模型，其具有高达 137B 的参数，并使用公共对话数据和 Web 文本预训练。它具有先进的优化技术，能够解决安全性和事实基础等关键挑战，以及能够在教育和内容推荐领域发挥积极作用。

Jan, 2022

KoLA：大型语言模型世界知识的精细基准测试

我们构建了一种基于知识导向的大型语言模型评估基准，并通过使用维基百科和不断收集出现的语料库来确保数据的公正比较，评估 21 个开源和商业大型语言模型的能力和知识相关度。

Jun, 2023

LeXFiles 和 LegalLAMA: 促进英语跨国法律语言模型的发展

该研究通过分析基于法律的预训练语言模型的性能，可以得出结论，领域特定的预训练语言模型的开发包括模型的大小和先前的法律知识两个方面。

May, 2023