Apr, 2023

NeuroBench: 通过合作、公平和代表性的基准测试推动神经形态计算

PDF
TL;DR本文介绍了神经形态计算中的基准测试 NeuroBench 及其目标，以促进该领域的技术进步和统一标准，该基准测试是由学术界和工业界的成员共同制定的。
发现论文，激发创造
  • 硬件神经形态计算和神经网络概览

    本文首先回顾了神经形态计算的动机和驱动力，然后讨论了该领域的主要研究方向，包括神经启发式模型、算法和学习方法、硬件和设备、支持系统以及应用，并给出了未来研究的主要方向和目标。

    May, 2017

  • 大规模神经形态脉冲阵列处理器：模拟人脑的追求

    本论文综述了神经形态工程中的关键问题，包括信息处理、脑样计算、神经模型及其仿真，以及深度学习等。

    May, 2018

  • 神经图：脑连接组学图机器学习基准

    介绍了一种名为 NeuroGraph 的开源 Python 软件包，它包含了一系列基于图形的神经影像数据集以及基准的实现、模型训练和标准评估，可以用于机器学习研究高维功能性神经影像数据的分析和预测。

    Jun, 2023

  • 神经网络软件验证的简化 C 语言基准测试 NeuroCodeBench

    该研究论文介绍了一种用于神经网络代码验证的基准测试集 NeuroCodeBench，包含 32 个神经网络和 607 个安全属性，主要研究安全关键系统中的神经网络、验证和软件错误。

    Sep, 2023

  • 神经表示基准及其在脑和机器上的评估

    该论文提出了一个新的基准来测试视觉表征，该基准直接测试大脑中多个视觉皮层区域中的神经表征，并测试了产生特征空间的任何计算机视觉算法。结论是一种针对中等图像难度的学习算法能够达到与大脑皮层区域 IT 相当的性能水平，并且优于更简单的区域 V4，在较高难度水平时甚至超过了 IT。

    Jan, 2013

  • CTBENCH：认证训练库和基准

    CTBENCH 是一个统一的库和高质量的基准测试，用于证明训练。通过在公平设置和系统调整的超参数下评估所有算法，CTBENCH 展示了几乎所有算法超越了文献中所报道的性能，并建立了新的最先进方法，同时揭示了近期算法的优势在强化基线后明显减弱。基于 CTBENCH，我们为当前的证明训练状态提供了新的见解，并提出了未来的研究方向。我们相信 CTBENCH 将成为证明训练未来研究的基准和测试平台。

    Jun, 2024

  • Accel-NASBench: 加速器感知的可持续性 NAS 基准测试

    通过寻找训练代理，我们构建了一个开源的双目标神经架构搜索基准测试，用于大规模数据集，并结合了加速器的设备性能，包括 GPU、TPU 和 FPGA。通过与各种 NAS 优化器和硬件平台的广泛实验，我们展示了该基准测试的准确性，并且可以对硬件感知模型进行零成本的研究。

    Apr, 2024

  • Dynabench: NLP 基准评估的重新思考

    Dynabench 是一个开源平台，支持动态数据集创建和模型基准测试，可以在一个 web 浏览器中运行。通过人和模型操作，使 annotators 创建能够被目标模型误分类但另一个人不能误分类的示例。本文认为，Dynabench 解决了当前模型在基准任务上表现优异，但在简单的挑战示例和实际场景中失败的问题。我们针对四个初始 NLP 任务，阐述了这些概念，突出了 Dynabench 平台的优点，并解决了动态基准测定作为新标准引起的潜在反对意见。

    Apr, 2021

  • GNNBENCH: 公平高效的单 GPU 图神经网络系统基准测试

    通过 GNNBench 基准平台，我们提出了一种新的协议来交换捕获的张量数据，支持系统 API 中的自定义类，并允许将同一系统模块自动集成到诸多深度学习框架中，如 PyTorch 和 TensorFlow，这帮助我们发现了几个需要关注的测量问题。

    Apr, 2024

  • 2022 神经形态计算与工程路线图

    该研究报告介绍了神经形态计算技术的现状、挑战和机遇，并探讨其在材料、设备、电路、算法、应用和伦理等领域的未来应用发展，旨在为读者提供有价值的资源。

    May, 2021