BertaQA：语言模型对本地文化了解多少？

Jun, 2024

BertaQA：语言模型对本地文化了解多少？

BertaQA: How Much Do Language Models Know About Local Culture?

Julen Etxaniz, Gorka Azkune, Aitor Soroa, Oier Lopez de Lacalle, Mikel Artetxe

TL;DR大型语言模型在全球范围或以英文为中心的主题上表现出广泛知识，但对于在网上不那么突出的其他文化相关主题表现如何仍存在疑问。通过引入英文和巴斯克文平行的选择题数据集 BertaQA，我们发现一流的大型语言模型在本地文化知识上表现出困难，但持续的巴斯克文预训练显著提高了英文查询下模型在巴斯克文化方面的表现，这是低资源语言向高资源语言的知识传递的首个确凿证据。我们的分析揭示了语言和知识之间复杂的相互作用，并发现某些先前的发现在重新评估地方主题时不完全成立。我们的数据集和评估代码可在此 https URL 下的开放许可下获取。

Abstract

Large Language Models (LLMs) exhibit extensive knowledge about the world, but most evaluations have been limited to global or anglocentric subjects. This raises the question of how well these models perform on topics relevant to other cultures, whose presence on the web is not that prominent. To address this gap, we introduce →

large language models (llms)bertaqa basque culture knowledge transfer low-resource language

发现论文，激发创造

MuCoT: 低资源语言中的多语言对比训练问答

本文提出一种用于低资源语言的提高问答技术的方法，即通过翻译和转写将问题回答样本扩充到目标语言，利用增广数据微调已经在英语中预训练的 mBERT 问答模型，并引入对翻译问题上下文特征对之间的对比损失来提高不同语言家族的翻译准确性。

Apr, 2022

大规模多元文化知识获取与语言模型基准测试

通过从维基百科文献到链接页面的导航，建立文化知识的多元多样化采集方法与 CultureAtlas 数据集，该数据集涵盖了各种亚国家地理区域和族群，用于评估语言模型在文化多元背景下的表现和开发具有文化敏感和意识的语言模型，以促进数字领域中全球文化的更具包容性和平衡的表达。

Feb, 2024

BLEnD: 基于多元文化和语言的常识性 LLM 基准

LLMs 在文化敏感性方面缺乏对日常生活的文化特定知识，不同于在线来源如维基百科，BLEnD 通过手工设计的基准评估了 LLMs 对多元文化和语言的日常知识，结果显示 LLMs 在高度在线代表的文化中表现更好，而在低资源语言文化中表现更好的是英语而非本地语言。

Jun, 2024

使用 MultiQ 评估大型语言模型的基础多语言能力

研究表明，尽管当前大部分开放式语言模型主要面向英语或少数几种高资源语言，人们却在多种语言中使用这些模型。本文通过引入 MultiQ 标准测试并评估 27.4k 个不同语言的基本开放式问答问题，探讨了现有开放式语言模型在超越其预定用途方面的多语言能力。通过研究发现，在一些语言中，这些模型在回答问题时表现得既忠实又准确，而大多数模型在忠实于回答问题时的准确性更高，但在某些语言中模型的准确性和忠实度都较低。我们还探讨了分词对这些发现的潜在解释，发现了可能存在的相关性，值得进一步研究。

Mar, 2024

CaLMQA: 跨 23 种语言探索跨文化特定长篇问答

通过介绍 CaLMQA，一个涵盖 23 种语言的 2.6K 多样化问题集，我们发现大型语言模型在生成复杂问题的长篇答案时在某些低资源语言方面的质量明显下降，这突显了 LLM 多语言能力和非英语长篇问题回答评估中进一步研究的需求。

Jun, 2024

多语种模型是否是中度资源语言的最佳选择？以加泰罗尼亚语为例的全面评估

本研究集中关注在 Catalan 语言，通过构建一个中等大小的单语言模型并进行完整的评估，成功地通过多样的任务比较，充分证明了其优越性，从而证实了在数据充足的情况下，单语言特定模型的效果能够超越多语言模型。

Jul, 2021

大规模语言模型的多语言文档问答评估方法

通过使用大型语言模型，本文研究了这些模型的多语言能力。初步结果表明，将原始语言环境、问题和答案翻译成高资源语言会产生最佳结果。

Feb, 2024

KoLA：大型语言模型世界知识的精细基准测试

我们构建了一种基于知识导向的大型语言模型评估基准，并通过使用维基百科和不断收集出现的语料库来确保数据的公正比较，评估 21 个开源和商业大型语言模型的能力和知识相关度。

Jun, 2023

MLQA：评估跨语言抽取式问答

该研究提出了一个名为 MLQA 的多语言提取式问答（QA）评估基准，旨在推动跨语言 QA 研究。 MLQA 包含 7 种语言的 QA 实例，并使用一种新颖的对齐上下文策略，基于 Wikipedia 文章构建，以此作为现有提取式 QA 数据集的跨语言扩展。

Oct, 2019

评估语言模型用于知识库补全

本文介绍了一种更具挑战性的基准数据集和方法，用于评估语言模型在无监督知识库补全方面的潜力，并发现了语言模型在补全 Wikidata 中 nativeLanguage、usedLanguage 和 citizenOf 等关系方面表现出强大的泛化能力。

Mar, 2023