Jun, 2024

BiomedBench：低功耗可穿戴设备的 TinyML 生物医学应用基准套件

PDF
TL;DR通过提出 BiomedBench，一个新的基准套件，对于佩戴式设备实时监测患者的终端到终端的微小机器学习生物医学应用进行综合评估，并展示现有低功耗平台无法有效针对所有类型的生物医学应用，以推动整个生物工程系统和微小机器学习应用设计领域的未来改进。
发现论文，激发创造
  • DrBenchmark：法国生物医学领域的大型语言理解评估基准

    首次公开提供的法语生物医学语言理解基准 DrBenchmark，评估 8 种最新的预训练掩码语言模型 (MLMs) 的通用和生物医学特定数据上的性能，以及英语特定的 MLMs 来评估它们的跨语言能力。

    Feb, 2024

  • MedBench：一个用于评估医学大型语言模型的大规模中文基准

    为了解决医学大语言模型的评估工作耗时且需要大量人力的问题，我们引入了 MedBench，这是一个综合性的基准测试，包括来自医学各领域的 40,041 个问题。通过对医学语言学习模型的知识掌握和推理能力进行评估，MedBench 建立了一个可靠的标准，揭示了医学大语言模型的能力和限制，以帮助医学研究社区。

    Dec, 2023

  • BenchMD：面向医学影像和传感器的模态不可知学习基准测试

    提出了一个名为 BenchMD 的基准测试平台，旨在评估面向临床任务的多个医疗模态数据上的通用 AI 算法如何处理，包括使用 modality-agnostic 方法和 self-supervised learning 技术，研究结果表明当前没有一种方法可以在所有模态上实现出色性能。

    Apr, 2023

  • 用快速重定向在微控制器上对 TinyML 进行基准测试

    本文提出了一个名为 MLonMCU 的工具，通过在大量配置中自动化端到端基准测试流程并演示了 TFLite 和 TVM 等 TinyML 框架在微控制器上的无缝性能测试。

    Jun, 2023

  • 为 BigBench 中的机器学习工作负载增加功能

    在大数据和机器学习、深度学习以及人工智能算法得到越来越多支持的时代，急需标准化的应用基准来对这些新技术进行压力测试和评估。本文在基于标准化的 BigBench (TPCx-BB) 基准的基础上，通过引入三个新的工作负载和扩展机器学习算法的覆盖范围，丰富了改进版的 BigBench V2。我们的工作负载使用多种算法，并对同一算法在多个流行的库中（如 MLlib、SystemML、Scikit-learn 和 Pandas）的不同实现进行比较，展示了我们基准扩展的相关性和可用性。

    Jun, 2024

  • 临床时间序列数据的多任务学习和基准测试

    该研究提出了利用来自公开可用的激痛医学信息库（MIMIC-III）数据集的四个临床预测基准，旨在解决机器学习在医疗保健研究中缺乏公开可用基准数据集的问题。

    Mar, 2017

  • BiGGen Bench：一种用于精细评估语言模型的基准

    通过 BiGGen Bench 的引入，对 77 个不同任务中的九种语言模型的生成能力进行了全面评估，并借助实例特定的评估标准来模拟人类评估的微妙辨别。该研究公开提供了代码、数据和评估结果。

    Jun, 2024

  • PMLB: 机器学习评估和比较的大型基准测试套件

    本文介绍了一个可访问、策划和开发的公共基准资源，用于促进不同机器学习方法的优缺点的识别。我们比较了这一资源中当前一组基准数据集的元特征，以表征可用数据的多样性。最后，我们应用了一些已经建立的机器学习方法到整个基准套件，并分析数据集和算法在性能方面是如何聚类的。该工作是了解流行基准套件的限制并开发将现有的基准标准与未来更多样化和有效标准相连接的资源的重要第一步。

    Mar, 2017

  • 人工智能发展的基准数据集未能满足医疗专业人员的需求

    通过深入文献和在线资源的系统性研究，我们编制并发布了一个全面的与临床和生物医学自然语言处理（NLP）广泛领域相关的数据集和基准目录，对 450 个 NLP 数据集进行了手动系统化和注释处理，并与跨医疗应用的相关任务进行了比较，结果显示，当前可用的人工智能基准测试不同于希望在临床环境中进行人工智能自动化的任务，因此需要创建新的基准测试以填补这些差距。

    Jan, 2022

  • CTBench: 临床试验设计中评估语言模型能力的综合基准

    CTBench 是一个用于评估语言模型在辅助临床研究设计方面的基准测试，通过给定特定研究元数据，CTBench 评估人工智能模型在确定临床试验的基线特征方面的能力，包括从所有参与者开始收集的人口统计学和相关特征。

    Jun, 2024