May, 2023

Polyglot or Not? 从基础语言模型中衡量多语言百科知识的检索能力

PDF
TL;DR该研究评估了基础模型在多种语言、主题和背景下检索百科全书知识的能力，并提出了一个新的反事实知识评估方法和一个新数据集，跨语言和中英文环境中对基础模型进行了基准测试并发现了一定的局限性。
foundation modelsencyclopedic knowledgemultilingualfactual associationscounterfactual knowledge assessment
发现论文，激发创造
  • X-FACTR: 预训练语言模型多语言事实知识检索

    该研究创建了一个跨 23 种不同语言的多语言基准测试，旨在评估语言模型中的事实知识检索能力，并提出了基于语言切换的方法来提高多语言模型获取知识的能力。

    Oct, 2020

  • 多语言 LAMA：探究多语言预训练语言模型中的知识

    翻译 TREx 和 GoogleRE 两项基准测试为 53 种语言，使用 mBERT 模型研究其作为多语言知识库的性能及影响因素，发现其性能因被查询的语言而异，同时使用多种语言的预测结果可提高性能。

    Feb, 2021

  • MLaKE：大型语言模型的多语言知识编辑基准

    通过多个语言中的多跳推理和单跳问题，MLaKE（多语言语言知识编辑）评估了知识编辑方法在多语言环境下的适应性，发现现有方法在英语样本上表现较好，但在多语言实验中的泛化能力有限，强调了多语言知识编辑的发展需求。

    Apr, 2024

  • 将以英语为中心的 LLMs 转变为多语种模型：需要多少语言能力？

    通过与只使用英文进行微调的模型相比较，研究发现只使用三种语言进行多语种微调可以显著提高模型在生成式任务上的跨语言转移能力，而在高度结构化的任务上影响较小。

    Dec, 2023

  • 使用 MultiQ 评估大型语言模型的基础多语言能力

    研究表明，尽管当前大部分开放式语言模型主要面向英语或少数几种高资源语言，人们却在多种语言中使用这些模型。本文通过引入 MultiQ 标准测试并评估 27.4k 个不同语言的基本开放式问答问题，探讨了现有开放式语言模型在超越其预定用途方面的多语言能力。通过研究发现，在一些语言中，这些模型在回答问题时表现得既忠实又准确，而大多数模型在忠实于回答问题时的准确性更高，但在某些语言中模型的准确性和忠实度都较低。我们还探讨了分词对这些发现的潜在解释，发现了可能存在的相关性，值得进一步研究。

    Mar, 2024

  • BertaQA：语言模型对本地文化了解多少？

    大型语言模型在全球范围或以英文为中心的主题上表现出广泛知识，但对于在网上不那么突出的其他文化相关主题表现如何仍存在疑问。通过引入英文和巴斯克文平行的选择题数据集 BertaQA，我们发现一流的大型语言模型在本地文化知识上表现出困难，但持续的巴斯克文预训练显著提高了英文查询下模型在巴斯克文化方面的表现，这是低资源语言向高资源语言的知识传递的首个确凿证据。我们的分析揭示了语言和知识之间复杂的相互作用，并发现某些先前的发现在重新评估地方主题时不完全成立。我们的数据集和评估代码可在此 https URL 下的开放许可下获取。

    Jun, 2024

  • SeaEval 用于多语言基础模型：从跨语言对齐到文化推理

    SeaEval 是一个多语种基础模型的评估基准，研究了模型对自然语言的理解、推理能力以及对文化实践、细微差别和价值观的理解。研究发现模型在给予释义指令时表现出不同的行为，许多模型仍存在曝光偏差，对于根源于事实、科学和常识知识的问题，多语种查询的一致性响应预期是相同的，然而大多数模型在这些查询上令人意外地表现出不一致的性能，需要更具有泛化能力的语义表示和增强的多语种上下文化能力。SeaEval 可用于多语种和文化情景下的更全面的调查和评估。

    Sep, 2023

  • Multi - 向性知识评估：利用 FActScore 评估多语言 LLMs 的多区域知识

    本研究通过对九种语言进行分析，系统评估了跨语言和地理区域的多语言大型语言模型的事实准确性，发现英语在事实准确性和生成事实的数量方面一直表现优异，并且多语言模型对来自西方大陆的事实信息存在偏见，这些发现凸显了改善多语言事实评估的需求和大型语言模型事实生成中的地理偏差。

    Feb, 2024

  • 提高多语言知识和文本建模能力的适配器

    本文提出了在多种语言中增强多语言知识图谱 (MLKGs) 的多语言语言模型 (MLLMs) 的轻量级适配器，以利用跨语言实体对齐和从 MLKGs 中获取事实，并在共同基准实验中展示了该增强模型在语言理解任务和知识图谱任务方面的性能优势。

    Oct, 2022

  • 多语种预训练语言模型的事实一致性

    本文调查了多语言语言模型（如 mBERT 和 XLM-R）在一些语言下对事实知识预测的一致性，并发现尽管在英语下，这些模型的一致性与其单语言模型相似，但在其他 45 种语言下，这些模型的一致性程度却较低。

    Mar, 2022