Jun, 2024

CTBENCH：认证训练库和基准

PDF
TL;DRCTBENCH 是一个统一的库和高质量的基准测试，用于证明训练。通过在公平设置和系统调整的超参数下评估所有算法，CTBENCH 展示了几乎所有算法超越了文献中所报道的性能，并建立了新的最先进方法，同时揭示了近期算法的优势在强化基线后明显减弱。基于 CTBENCH，我们为当前的证明训练状态提供了新的见解，并提出了未来的研究方向。我们相信 CTBENCH 将成为证明训练未来研究的基准和测试平台。
certifiably robust neural networkscertified trainingctbenchbenchmarkresearch directions
发现论文，激发创造
  • 神经网络训练算法基准测试

    本文提出了一个新的竞争性算法基准测试，AlgoPerf：训练算法基准测试，在多个工作负载上运行固定的硬件，解决了评估训练算法改进的三个基本挑战，包括如何确定训练何时结束和精确测量训练时间，如何处理测量对确切工作负载细节的敏感性，以及如何公平比较需要超参数调整的算法。在本基准测试中，评估了基线结果和各种优化器构建的基线提交，最终证明了新基准测试的可行性。

    Jun, 2023

  • CTBench: 临床试验设计中评估语言模型能力的综合基准

    CTBench 是一个用于评估语言模型在辅助临床研究设计方面的基准测试，通过给定特定研究元数据，CTBench 评估人工智能模型在确定临床试验的基线特征方面的能力，包括从所有参与者开始收集的人口统计学和相关特征。

    Jun, 2024

  • 深度神经网络训练的基准测试和分析

    通过提出一个新的 deep neural networks 训练基准 (TBD)，并在三个主要的深度学习框架 (TensorFlow、MXNet、CNTK) 上进行广泛的性能分析，本文为 DNN 训练提供了一套新的分析工具集以及对未来研究和优化的建议。

    Mar, 2018

  • 神经网络软件验证的简化 C 语言基准测试 NeuroCodeBench

    该研究论文介绍了一种用于神经网络代码验证的基准测试集 NeuroCodeBench，包含 32 个神经网络和 607 个安全属性，主要研究安全关键系统中的神经网络、验证和软件错误。

    Sep, 2023

  • CTIBench：用于评估网络威胁情报中 LLMs 的基准测试

    Cyber Threat Intelligence Large Language Models benchmark (CTIBench) evaluates the performance of state-of-the-art models in CTI applications, providing insights into their strengths and weaknesses in the cyber-threat landscape.

    Jun, 2024

  • 基于可验证对抗性鲁棒性的贝叶斯推断

    通过贝叶斯学习的视角考虑深度神经网络的对抗训练，并提出了一种具有可证明保证的贝叶斯神经网络（BNN）的对抗训练的原则性框架。该方法可在 MNIST、FashionMNIST 和 CIFAR-10 上训练出可证明鲁棒性的模型，并用于不确定性校准。这是第一次直接训练可证明的 BNN，可促进在安全关键应用中的部署。

    Feb, 2021

  • CATBench: 黑盒优化的编译器自动调优基准套件

    Bayesian optimization and compiler autotuning research is advanced through the use of CATBench, a benchmarking suite that captures the complexities of compiler autotuning using machine learning-oriented computations.

    Jun, 2024

  • 用于组合测试的基准生成器

    本文介绍了一个基于其他研究领域的组合问题结构的新型组合测试基准生成器，并使用这些新的基准对 CT 工具进行了广泛的评估，以提供关于在什么情况下使用特定 CT 工具的一些见解。

    Dec, 2022

  • NeuroBench: 通过合作、公平和代表性的基准测试推动神经形态计算

    本文介绍了神经形态计算中的基准测试 NeuroBench 及其目标，以促进该领域的技术进步和统一标准，该基准测试是由学术界和工业界的成员共同制定的。

    Apr, 2023

  • 为 BigBench 中的机器学习工作负载增加功能

    在大数据和机器学习、深度学习以及人工智能算法得到越来越多支持的时代，急需标准化的应用基准来对这些新技术进行压力测试和评估。本文在基于标准化的 BigBench (TPCx-BB) 基准的基础上，通过引入三个新的工作负载和扩展机器学习算法的覆盖范围，丰富了改进版的 BigBench V2。我们的工作负载使用多种算法，并对同一算法在多个流行的库中（如 MLlib、SystemML、Scikit-learn 和 Pandas）的不同实现进行比较，展示了我们基准扩展的相关性和可用性。

    Jun, 2024