通过 BiGGen Bench 的引入，对 77 个不同任务中的九种语言模型的生成能力进行了全面评估，并借助实例特定的评估标准来模拟人类评估的微妙辨别。该研究公开提供了代码、数据和评估结果。

Jun, 2024

建立一个可以在不同图和任务中很好工作的图基础模型（GFM），通过统一的骨干结构近期引起了广泛关注。尽管文本空间的 GFM 存在巨大潜力，但目前的研究面临两个问题：缺乏统一问题设置的综合基准，以及缺乏足够的数据集来全面探索方法的潜力。为了解决这些问题，我们进行了综合基准的研究，并提供了新的文本空间数据集和全面的评估。实证结果提供了新的见解，并启发了未来的研究方向。

Jun, 2024

基于自主学习的图神经网络模型的广义化和可扩展性进行了全面分析和研究，通过生成节点表示，在节点分类、链接预测和节点聚类等任务上实现了各种自主学习图神经网络模型的性能比较，并比较了全批次和小批次训练策略后各个模型的性能，同时评估了这些模型的训练效率。

Jun, 2024

基因组序列是指导细胞过程的蓝图，该研究介绍了一种基于人类基因组的 DNA 语言模型评估方法 BEND，该模型能够在某些任务上接近专家方法的性能，但仅能捕获关于长程特征的有限信息。

Nov, 2023

图基础模型（GFM）是图领域中一个新兴的研究课题，旨在发展一种能够概括不同图和任务的图模型。我们提出了一个新颖的视角 ——“图词汇表”，通过在图中编码基本可转移单元的不变性来建立图词汇表，从而解决在构建 GFM 中遇到的跨结构模式图之间正向传递的关键挑战，这一视角可以潜在地推进未来 GFM 设计遵循神经规模定律。

Feb, 2024

通过 VBench 系统，我们提供了一个全面的视频生成评估基准，将视频生成质量分解为特定的、分层的、分离的维度，并为每个维度提供了定制的提示和评估方法；我们还提供了人类喜好注释的数据集，验证了我们基准与人类知觉的一致性；在各个评估维度和各种内容类型上，我们研究了当前模型在视频生成能力上的差异，并探究了视频和图像生成模型之间的差距。

Nov, 2023

本研究针对遥感任务的基础模型研究进行了探讨，提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法，并报告了二十种基线模型的结果，旨在推动地球监测领域的模型进展。

Jun, 2023

本文提出了一种不需要度量的基于嵌入空间几何的方法来比较基础模型，并展示了该框架如何用于诱导一组带有距离函数的模型流型，其与多个下游度量强相关。

May, 2023

LLMs 在各领域越来越普及，因此迫切需要改进的 NLP 基准来涵盖各个学科的必要知识。为了解决这个问题，作者提出了 psybench，这是第一个详尽覆盖研究领域所需知识的全面中文评估套件，通过多项选择题深入评估模型在心理学中的优势和劣势，并发现不同领域的性能存在显著差异，展示了测试集中知识不均衡可能导致结果偏斜的风险，仅 ChatGPT 模型的平均准确率超过 70％，表明仍有很大的改进空间。总之，psybench 将有助于对基本模型的优势和劣势进行全面评估，并在心理学领域的实际应用中提供支持。

Nov, 2023

本研究论文强调了动态图学习的重要性以及其在各个领域中的应用，并强调了建立一个统一的基准框架的需求，该框架能够捕捉时间动态、不断变化的图结构和下游任务需求。建立统一的基准框架将有助于研究人员了解现有模型的优点和局限性，促进创新，推动动态图学习的进展。此外，本文认为当前动态图学习研究的一个限制是缺乏一个统一的基准框架。这样的框架将有助于准确评估模型，推动动态图学习技术的进展，为实际应用的更有效模型的开发提供可能性。

Jan, 2024