数据概述是现代数据驱动行业中的重要过程，而 Desbordante 是一个旨在弥合现有数据分析系统与当代数据科学家工具之间差距的开源数据概述工具，致力于解决复杂统计在数据质量问题中的应用。

Jul, 2023

该研究提出了一个新颖的 benchmarking 框架 Dyport，用于评估生物医学假设生成系统。利用经过筛选的数据集，在真实条件下测试这些系统，增强了我们评估的相关性。我们将筛选数据库中的知识整合到动态图中，并伴随着一种量化发现重要性的方法。这不仅评估了假设的准确性，还评估了它们在生物医学研究中的潜在影响，这显著扩展了传统的链接预测基准。我们的 benchmarking 过程的适用性在应用于生物医学语义知识图上的几个链接预测系统上得到了证明。我们的灵活性 benchmarking 系统旨在广泛应用于假设生成质量验证，旨在扩大生物医学研究界的科学发现范围。Dyport 框架完全开源，所有代码和数据集都可以在此 https 的 URL 中获得。

Dec, 2023

数据驱动科学是一种新兴的范例，其中科学发现取决于针对具体学科的丰富数据集执行计算 AI 模型。通过现代机器学习框架，任何人都可以开发和执行计算模型，揭示隐藏在数据中的概念，从而可能支持科学应用。然而，在实际应用中，收集并计算每个可以运行的计算模型的性能代价昂贵。由于使用代表性数据集来推断性能的基准测试方法具有局限性，每个数据集都具有独特的特征，这需要引入数据集配置文件来作为模型选择过程的一部分，以选择最佳模型进行优化。

Aug, 2022

Dynaboard 是一个评估即服务框架，集成于 Dynabench 平台，评估 NLP 模型的质量和性能，并使用基于用户定制的 Dynascore 统计综合评估指标，帮助用户更好地评估模型质量。

May, 2021

TopoBenchmarkX 是一个模块化的开源库，旨在标准化基于拓扑的深度学习的基准测试，并加速研究。它将拓扑深度学习的流程映射为一系列独立和模块化的组件，包括数据加载和处理、模型训练、优化和评估。TopoBenchmarkX 的关键特点是它允许在拓扑领域之间进行转换和提升，以获得更丰富的数据表达和更精细的分析。通过对多个任务和数据集的拓扑深度学习架构进行基准测试，展示了 TopoBenchmarkX 的适用范围。

Jun, 2024

Dynabench 是一个开源平台，支持动态数据集创建和模型基准测试，可以在一个 web 浏览器中运行。通过人和模型操作，使 annotators 创建能够被目标模型误分类但另一个人不能误分类的示例。本文认为，Dynabench 解决了当前模型在基准任务上表现优异，但在简单的挑战示例和实际场景中失败的问题。我们针对四个初始 NLP 任务，阐述了这些概念，突出了 Dynabench 平台的优点，并解决了动态基准测定作为新标准引起的潜在反对意见。

Apr, 2021

该研究提出了一个新的基准套件来评估 AI 系统中的概念漂移检测算法，其中考虑了计算性能和检测质量，并且集成在流式学习的框架中。该套件支持合成和真实数据流的评估，有助于科学界得到无监督漂移检测算法的基准表现。

Apr, 2023

时间序列异常检测是许多应用领域中一个普遍存在的问题，最近增加了基于深度学习的方法，而我们提出了 OrionBench 这一用户中心持续维护的基准测试框架用于无监督时间序列异常检测。

Oct, 2023

本文提出了 BenchPress 和 BenchDirect，利用机器学习编译器生成基准测试案例，能够在源代码特征表示内定向生成可执行的函数，通过主动学习向已有数据集中引入具有未见过特征的新基准测试案例，成功地针对 Rodinia 的基准测试的特征进行了生成，模型的辨别和准确度效果优于现有方法。

Mar, 2023

本文介绍了一种机读的本体论方法 OPTION，它提供了语义标注标准以及算法、问题以及评估措施等核心实体，并可用于不同平台上的语义注释，数据集成和强大的查询功能，从而提高基准测试数据的价值。

Nov, 2022