COPAL-ID 是一个公开可用的印度尼西亚语常识推理数据集，它结合了印度尼西亚的当地文化细微差别，提供了更自然的印度尼西亚文化领域内的日常因果推理描绘。研究发现，目前最好的开源多语言模型在 COPAL-ID 上表现不佳，与文化无关的 XCOPA-ID 相比，准确率显著降低，这说明这些语言模型在理解印度尼西亚本土细微差别方面仍然落后于人类。

Nov, 2023

介绍了 COPA-SSE 新的众包数据集，内容为 9747 个半结构化的英语常识解释，包含 ConceptNet 关系和自由写作的概念，格式适用于基于知识图谱的常识推理，每个解释还包括一组人工评定的质量评分。

Jan, 2022

本文研究语言模型在推理任务中的语义相似性偏见问题，提出添加正则化损失的解决方案，能够提高模型泛化能力，在 BCOPA-CE 数据集上表现更为稳健且具有更好的表现。

Jul, 2021

为了促进通识推理（CSR）的进一步发展，作者提出了用于评估和改进流行的多语言语言模型（ML-LMs）的方法，其中包括收集 Mickey 语料库、提出综合的评估方法和介绍多语言对比预训练（MCP）的有效性。作者还创建了两个新数据集，X-CSQA 和 X-CODAH，以评估流行的 ML-LMs 用于跨语言通识推理的能力。

Jun, 2021

通过语言模型的构建过程，使用 LM 生成问题 / 答案、改进答案和验证 QA，然后减少人工验证的工作量，我们提出了 Multilingual CommonsenseQA（mCSQA），这是一个用于评估多语言 LM 的跨语言语言传递能力的基准数据集。实验结果表明，多语言 LM 在处理容易解决的问题时具有较高的语言传递能力，但处理需要深入知识或常识的问题时传递能力较低。这凸显了对语言特定数据集进行评估和训练的必要性，最后，我们的方法证明了多语言 LM 能够创建包含语言特定知识的 QA，与手动创建相比，显著降低了数据集创建成本。

Jun, 2024

通过采用一种对齐作为优选优化框架，我们在非中心语言中提高了推理能力，推理一致性得到了改善，并通过迭代 DPO 进一步优化了模型的多语言数学推理能力。

Jan, 2024

本文提出了一种利用现有平行语料库进行间接监督的跨语言问答（QA）的合成数据生成方法，并使用词汇约束的机器翻译提高翻译质量，生成了跨越 4 种语言的 662K QA 样例数据集，并通过消融研究证明了该方法相对于自动单词对齐的噪声比较稳健。

Apr, 2023

本文介绍 XLCoST 横跨 8 种语言的跨语言代码片段数据集，支持 10 项跨语言代码任务，并提供了几种基准模型的性能。该数据集是目前规模和语种最大的源代码平行数据集，可以帮助跨语言代码智能的研究和方法开发以及验证。

Jun, 2022

该研究致力于针对电子商务应用中需要支持多语言的情况，建立一种跨语言的产品问答 (PQA) 系统，为了实现这一目标，它提出了一个包括 12 种语言在九个领域中的大规模标注跨语言 PQA 数据集，并评估了包括机器翻译在内的多种方法。作者强调，领域内的数据对跨语言排序任务非常重要，而候选的排序通常更喜欢基于运行时翻译的方法，而答案的生成更倾向于使用多语言方法，但是英语和跨语言测试集之间仍存在明显的性能差距。

May, 2023

大型语言模型在多语言结构推理和解释数据集 xSTREET 上表现出进展，通过使用机器翻译增强具有多语言评论的代码数据集，以及在推理时使用包含逐步代码原语的提示结构，提供了改善多语言性能的两种方法。

Mar, 2024