Sep, 2022

HAPI: 一份商业 ML API 预测的大规模纵向数据集

PDF
TL;DR本文介绍了 HAPI 数据集，该数据集是商业机器学习 API 应用的首个大规模数据集，可用于对 ML-as-a-service 进行研究，并分析商业 API 的性能随时间变化、性能差距和差异以及跨群体的影响。
commercial ml apismachine learning adoptionhapi datasetapis' performanceml-as-a-service
发现论文，激发创造
  • FrugalML：如何更准确便宜地使用 ML 预测 API

    FrugalML 提出了一种基于机器学习 API 的预测的经济优化框架，能够自动识别可获得的 API 中最优的顺序策略，并在预算约束下实现高准确性和成本效益。

    Jun, 2020

  • 超越文本：通过 MultiAPI 基准评估揭示大型语言模型的多模态能力

    聊天 GPT 通过开发的 MultiAPI 数据集评估了多模态任务中大型语言模型的表现，研究发现在 API 调用决策、领域识别、功能选择和参数生成等方面存在挑战，并提出了解决这些问题的新方法，为未来 LLM 研究指明了方向。

    Nov, 2023

  • API-BLEND：用于训练和基准测试 API LLM 的全面语料库

    本文介绍了 API-BLEND 数据集，用于训练和基准测试工具增强的大型语言模型，数据集模拟了涉及 API 任务的实际情境，如 API / 工具检测、插槽填充和检测到的 API 排序。

    Feb, 2024

  • 机器学习应用中神经网络的自动高效定制

    通过研究现有 ML API 的输出如何影响应用程序的决策过程，我们提出了一种名为 ChameleonAPI 的优化框架，该框架可以根据每个应用程序自定义训练和部署神经网络模型，从而减少应用程序的错误决策约 43%。

    Oct, 2023

  • 学生超越老师：基于模仿的黑盒自然语言处理 API 攻击

    利用无监督域适应和多受害者集成的方法，攻击者可能会在 NLP API 中超越原始黑盒模型，这是对模型提取以前的理解的超越，验证结果表明模仿者可以在转移领域中成功地胜过原始的黑盒模型，这将影响 API 提供者的防御或发布策略。

    Aug, 2021

  • 深度 API 程序员：学习使用 API 编程

    DAPIP 是一种通过学习 API 和 DSL 实现数据转换任务的 Programming-By-Example 系统，并提出了一种新的神经合成算法来在 DSL 中寻找与给定示例一致的程序，该算法在合成程序方面性能优于基准方法。

    Apr, 2017

  • 医疗应用集成多模态人工智能框架

    本研究提出并评估了一种综合人工智能在医学领域的框架（HAIM），以促进利用多模态输入实现人工智能系统的生成和测试，该框架可在医疗保健环境中进行研究和部署，并通过使用 Shapley 值量化每个模态和数据源的贡献，展示了多模态输入在不同医疗任务中的必要性。

    Feb, 2022

  • 人工智能发展的基准数据集未能满足医疗专业人员的需求

    通过深入文献和在线资源的系统性研究，我们编制并发布了一个全面的与临床和生物医学自然语言处理（NLP）广泛领域相关的数据集和基准目录，对 450 个 NLP 数据集进行了手动系统化和注释处理，并与跨医疗应用的相关任务进行了比较，结果显示，当前可用的人工智能基准测试不同于希望在临床环境中进行人工智能自动化的任务，因此需要创建新的基准测试以填补这些差距。

    Jan, 2022

  • 通过预测 API 窃取机器学习模型

    本研究探究了机器学习模型机密性和公共访问之间的紧张关系，针对在线服务（如 BigML 和 Amazon Machine Learning）中的普通模型类，研究了一些简单有效的攻击方法和相应的反攻击策略。

    Sep, 2016

  • 通过利用公共数据提取深度神经网络的框架

    使用主动学习和大规模公共数据集的模型提取框架，可以通过黑盒访问从图像和文本领域的各种数据集中训练出的深度分类器，其中仅使用其 30%（30,000 个样本）的数据集。

    May, 2019