文章主要介绍了一个新兴的自动化动态算法配置（DAC）领域，总结了相关先前的研究成果和现有的解决方法，并进行了以进化优化、人工智能规划和机器学习为例的实证案例研究。

May, 2022

本文提出了一种名为多智能体 DAC 的算法调整范例，利用多智能体强化学习算法解决了动态算法配置中存在多种配置超参数的问题，并与其它启发式规则、多臂赌博机和单智能体强化学习相比取得了更好的性能，同时释放了环境作为 MARL 算法测试的基准。

Oct, 2022

Dynabench 是一个开源平台，支持动态数据集创建和模型基准测试，可以在一个 web 浏览器中运行。通过人和模型操作，使 annotators 创建能够被目标模型误分类但另一个人不能误分类的示例。本文认为，Dynabench 解决了当前模型在基准任务上表现优异，但在简单的挑战示例和实际场景中失败的问题。我们针对四个初始 NLP 任务，阐述了这些概念，突出了 Dynabench 平台的优点，并解决了动态基准测定作为新标准引起的潜在反对意见。

Apr, 2021

利用大型语言模型代理，提出了一个评估数据集筛选能力的基准测试，该基准测试使用真实世界的数据集问题，并通过自动化评估器与人工评估对齐可靠，以进一步探索和创新应用大型语言模型于现实世界的数据集处理。

Jun, 2024

Bayesian optimization and compiler autotuning research is advanced through the use of CATBench, a benchmarking suite that captures the complexities of compiler autotuning using machine learning-oriented computations.

Jun, 2024

本文通过对 30 种算法在 57 个数据集上进行广泛实验，从不同角度回答了关于异常检测算法与监督程度、异常类型、噪声数据表现的问题。在对 ADBench 数据集进行全面介绍的同时，文章提出了未来算法选择和设计方向，并且为作者贡献的数据集提供了公正的比较基线算法。文中开源了 ADBench 数据集及相应结果，具有较高的可访问性和可复现性。

Jun, 2022

本文介绍了一个新的模拟基准数据集 DynaBench, 用于直接从稀疏散乱的数据中学习动力系统。该数据集着重于通过低分辨率、非结构化的测量预测动力学系统的演变，并评估了几个机器学习模型（包括传统的图神经网络和点云处理模型）。

Jun, 2023

本文介绍了一种深度摊销聚类（DAC）神经网络架构，通过少量正向传递学习高效聚类数据集，摊销聚类通过元学习，不需要手工先验知识即可聚类数据点和计算数据集中集群的数量。在合成和图像数据上的实验结果表明，DAC 可以高效、准确地聚类来自与训练集相同分布的新数据集。

Sep, 2019

CTBENCH 是一个统一的库和高质量的基准测试，用于证明训练。通过在公平设置和系统调整的超参数下评估所有算法，CTBENCH 展示了几乎所有算法超越了文献中所报道的性能，并建立了新的最先进方法，同时揭示了近期算法的优势在强化基线后明显减弱。基于 CTBENCH，我们为当前的证明训练状态提供了新的见解，并提出了未来的研究方向。我们相信 CTBENCH 将成为证明训练未来研究的基准和测试平台。

Jun, 2024

本研究理论分析了动态基准测试的两种实现方式，第一种模型中，模型性能最初会有所提高，但只会在三轮后停滞，而第二种模型则保证了比第一种模型更多的进展，但复杂度更高，并通过模拟动态基准测试的结果来验证了理论分析，为动态基准测试提供了理论和实践上的支持。

Oct, 2022