研究跨语言建模的进展取决于具有挑战性、真实性和多样性的评估集。本文提出了一种开放领域的问题回答评估集“Multilingual Knowledge Questions and Answers”（MKQA），包括10k个问题-答案对，跨越26种语言（总计260k个问题-答案对）。结果表明，即使在英语中，这个数据集也具有挑战性，尤其是在低资源语言中。

Jul, 2020

该研究旨在通过使用大规模语言模型（LSLM）独特的少样本能力，借助于Google搜索返回的信息对语言模型进行少量提示，从而克服其与现实事实和最新信息相关性的挑战，从而使得模型在开放领域问题回答方面的性能优于相同或更大规模的封闭书模型，同时，增加推理时间的计算能力可以提高模型的性能。

Mar, 2022

使用语言模型进行问题回答的过程中，我们提出了一种基于输入和标签之间的语义相似性的方法，用于区分模型对评估样本的直接记忆和通过一些泛化方法预测标签的能力。通过应用该方法，我们在评估数据集的无法记忆子集中观察到了显著的性能改善。

Nov, 2023

通过引入FCTR数据集，本研究通过跨语言转移学习评估大语言模型在土耳其语上的上下文学习（零样本和少样本）表现，结果表明该数据集有可能推动土耳其语研究的进展。

Mar, 2024

研究表明，尽管当前大部分开放式语言模型主要面向英语或少数几种高资源语言，人们却在多种语言中使用这些模型。本文通过引入MultiQ标准测试并评估27.4k个不同语言的基本开放式问答问题，探讨了现有开放式语言模型在超越其预定用途方面的多语言能力。通过研究发现，在一些语言中，这些模型在回答问题时表现得既忠实又准确，而大多数模型在忠实于回答问题时的准确性更高，但在某些语言中模型的准确性和忠实度都较低。我们还探讨了分词对这些发现的潜在解释，发现了可能存在的相关性，值得进一步研究。

Mar, 2024

通过用纯土耳其语语料库训练建立的cosmosGPT模型和适应土耳其语的语言模型的全面比较，研究结果显示，尽管相较于其他模型，我们用单语料库建立的语言模型规模较小约10倍，但其表现仍然有可观的性能。

Apr, 2024

通过研究低资源语言，对训练策略、模型选择、数据可用性和知识传递等问题进行深入分析，以进一步推进低资源语境下大型语言模型 (LLMs) 的发展，使自然语言处理 (NLP) 的益处更广泛可及。

May, 2024

这项研究通过使用大型语言模型自动生成土耳其教育内容的问答题，介绍了一种从教育内容中生成测验的新方法，为土耳其教育环境量身定制的教育技术开创了先河。同时，通过将这些语言模型应用于土耳其教育材料中，为自动化土耳其测验生成开辟了新的途径。

Jun, 2024

通过引入第一个多任务、多项选择土耳其问答基准测试 TurkishMMLU，评估了大型语言模型对土耳其语的理解能力。该基准测试包括来自土耳其高中教育课程的9个不同科目的10,000多个问题，通过对超过20种语言模型进行深入评估，提供了对当前语言模型在土耳其能力和局限性的详细分析。

Jul, 2024

本研究探讨了大型语言模型（LLMs）在教育环境中自动生成问题的有效性，并比较了三种模型在无微调情况下从大学幻灯片文本中生成问题的能力。研究发现，GPT-3.5和Llama 2-Chat 13B在问题的清晰度和问答对应性方面略优于Flan T5 XXL，特别是GPT-3.5在根据输入答案定制问题方面表现突出。

Jul, 2024