提出构建多维度标注的大规模中文学习者语料库 - YACLC，以提高中国国际教育和中文自动语法纠错研究的效果。

Dec, 2021

通过C-Eval对基础模型的评估，结果表明，只有GPT-4能够在C-Eval上获得平均超过60%的准确度，这暗示着当前的大语言模型仍有很大的提升空间。

May, 2023

我们介绍了NaSGEC数据集，它是一个新的数据集，旨在为来自多个领域的母语者文本的汉语语法纠错（CGEC）研究提供便利。我们为来自社交媒体、科技写作和考试三个本土领域的12,500个句子注释了多个参考文本，并通过使用先进的CGEC模型和不同的训练数据，为NaSGEC提供了可靠的基准结果。我们进一步从经验和统计的角度对我们的领域之间的联系和差距进行了详细的分析。我们希望这项工作能够启发对一个重要但鲜为人知的方向进行未来的研究-跨领域GEC。

May, 2023

CG-Eval 是首个综合评估大型中文语言模型在广泛学科领域中生成能力的研究，以多个指标的加权和为基础派生出 Gscore 综合指数，用于评估模型生成的质量。

Aug, 2023

该研究在不使用参考文献的情况下，利用各种词嵌入和递归神经网络结构的语言模型，通过比较分析10种印度语言中的流畅度评分与人工判断的相关性，提供了一种测量文本流畅性的新方法。

Dec, 2023

通过介绍首个专为中国K-12教育领域设计的综合评估基准E-EVAL，针对LLM在该领域的各种能力提供准确评估。E-EVAL由4,351道初、中、高级别的选择题组成，并涵盖语文、英语、政治、历史、伦理、物理、化学、数学和地理等多个学科。研究发现，中文优先的模型相比于英文优先的模型表现良好，其中许多模型的得分甚至超过了GPT 4.0。然而，几乎所有模型在数学等复杂科目上表现不佳。大部分中文优先的LLM在小学阶段的得分并不高于中学阶段的得分。同时，研究结果还表明，思维链技术（CoT）仅在具有挑战性的科学学科上有效，而一键提示对于文科学科更加有益。通过E-EVAL，旨在分析LLM在教育应用中的优势和局限，推动中国K-12教育和LLM的进步与发展。

Jan, 2024

LLMs在处理中文任务方面存在限制，该研究引入了中文指令跟踪基准（CIF-Bench），评估LLMs对中文语言的零射击泛化能力，并揭示出评估偏差和性能差距问题。

Feb, 2024

近年来，大型语言模型在英语方面取得了显著进展，但在中文指令调整方面仍存在差距。为了缩小这一差距，本研究介绍了COIG-CQIA，一个高质量的中文指令调整数据集，并通过训练模型和深度评估分析，提供了有关选择和开发中文指令调整数据集的宝贵见解。研究表明，在CQIA-Subset上训练的模型在人员评估以及知识和安全基准方面取得了有竞争力的结果。

Mar, 2024

本研究针对现有学术基准在实际教育场景中指导不足的问题，提出了基于中国初中考试评估的CJEval基准。该基准包含26,136个样本，涵盖四个教育应用任务，提供了详尽的注释。研究表明，CJEval能够有效评估大型语言模型在教育中的潜在应用，同时揭示了该领域的机遇与挑战。

Sep, 2024

本研究解决了现有修辞理解和生成数据集中对不同修辞设备之间相互关系的忽视，提出了包含4个常用粗粒度类别和23个细粒度类别的中文作文修辞数据集（CERD）。实验结果表明，使用大语言模型联合微调多个任务可以显著提高修辞生成和理解的效果，从而提升写作能力和语言应用技能。

Sep, 2024