通过优化词汇设计和训练语料库，我们推出了 JIANG 模型，该模型专门为中文而设计，取得了优异的性能。

Aug, 2023

本研究介绍了 FoundaBench，这是一个旨在严格评估中国语言和文化定制的大型语言模型的基础知识能力的开创性基准。使用 FoundaBench 对 12 个最先进的语言模型进行了全面评估，结果表明在中文语料库上预训练的模型性能更优，同时发现模型的推理和记忆能力存在显著差异。FoundaBench 评估得出的见解为理解大型语言模型的基础知识奠定了新的标准，为未来领域的进展提供了一个强大的框架。

Apr, 2024

本文提出了 MulCogBench，这是一个从中国和英国的参与者中收集的多模态认知基准数据集，包括主观语义评分、眼动、功能性磁共振成像（fMRI）和脑磁图（MEG）等多种认知数据。结果表明，语言模型与人类认知数据有显著相似性，而相似性模式受数据模态和刺激复杂性的调节。这些结果表明语言模型与脑语言表示有微妙的关联，并且中英文之间的结果高度一致，表明这些发现具有普适性。

Mar, 2024

介绍了基于 T5 模型的新型 BBT-FinT5 中文金融预训练语言模型，同时构建了大规模金融语料库 BBT-FinCorpus 并提出了中文金融语言理解与生成评估基准 BBT-CFLEB 以促进金融领域自然语言处理研究。

Feb, 2023

通过分析连接语言来评估认知功能的方法中，我们提出了一个新颖的基准数据集和预测任务。该数据集包含了普通认知的普通话和英语演讲者以及不同程度的认知损害的个体的言语样本和临床信息。我们通过倾向评分分析来仔细匹配这些数据，以确保模型训练中的平衡和代表性。预测任务包括轻度认知损害的诊断和认知测试分数的预测。我们通过提供使用语言无关和可比较特征进行诊断和认知测试分数预测的基准预测模型来说明这一框架。在诊断中，平均未加权回忆率为 59.2%，评分预测的均方根误差为 2.89。

Jun, 2024

LLMs 在各领域越来越普及，因此迫切需要改进的 NLP 基准来涵盖各个学科的必要知识。为了解决这个问题，作者提出了 psybench，这是第一个详尽覆盖研究领域所需知识的全面中文评估套件，通过多项选择题深入评估模型在心理学中的优势和劣势，并发现不同领域的性能存在显著差异，展示了测试集中知识不均衡可能导致结果偏斜的风险，仅 ChatGPT 模型的平均准确率超过 70％，表明仍有很大的改进空间。总之，psybench 将有助于对基本模型的优势和劣势进行全面评估，并在心理学领域的实际应用中提供支持。

Nov, 2023

提出了 CFinBench：一个经过精心设计的，迄今为止最全面的评估基准，用于评估大型语言模型在中国金融领域的金融知识，包括财务学科、金融资格、金融实践和金融法律等四个一级类别。实验结果表明，GPT4 和一些面向中文的模型在 CFinBench 中取得最佳性能，平均准确率高达 60.16%。

Jul, 2024

在智能交通领域，基于深度学习的 foundation model 技术面临着少样本、泛化性能差、缺乏多模态技术等挑战。为了促进基于 foundation model 的技术在交通场景的普及和智能交通产业的快速发展，我们设计并提出了首届 Foundation Model Challenge，其中包含全能型和跨模态图像检索两个实验任务。而我们还提供了一个新的基线和基准，名为 Open-TransMind。Open-TransMind 是第一个具有多任务和多模态能力的交通领域基础模型开源库，可以在交通场景的数据集上实现一流的检测、分类和分割性能。

Apr, 2023

大型语言模型已在多个领域进行了转变，但是小语种面临高昂的训练成本和大公司训练这些模型的小利益。为了解决这个问题，丹麦基础模型项目通过广泛合作提供和维护丹麦语的开放、文档齐全和高质量的基础模型，确保训练模型的数据质量和适用性。本文介绍了该项目的动机、当前状态和未来展望。

Nov, 2023

使用基于代码的大型语言模型在非编码汉语任务中可显著提高性能，特别是对于对汉语幻觉敏感的任务，语言学特征较少的模型表现更好，我们的研究还对哲学 “中国屋” 思想实验提供了独特的观点。

Jan, 2024