Sep, 2014

复杂分析中欠缺的一环：使用 Velox 进行低延迟、可扩展的模型管理和服务

PDF
TL;DR本文介绍了 Velox，一个数据管理系统，支持在线模型管理、维护和服务，以推荐产品、定向广告和个性化网络内容为主要功能，其架构方面的挑战包括跨在线和离线系统、自适应调整模型物化策略，并利用统计特性如模型误差容忍性，在 “大数据” 规模下运行。
发现论文，激发创造
  • Clipper: 一个低延迟的在线预测服务系统

    本文介绍了 Clipper，一个用于部署机器学习模型的通用低延迟预测服务系统，通过引入缓存、批处理和自适应模型选择技术，Clipper 提高了在线服务应用的预测时延、准确性和吞吐量，并可支持模型组合和在线学习来提高准确性和鲁棒性。与 TensorFlow Serving 系统相比，我们能够实现可比的吞吐量和延迟。

    Dec, 2016

  • 实时机器学习：遗失的部分

    针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

    Mar, 2017

  • 规模机器学习

    本文介绍了一个自动化的机器学习平台，用于在数字广告技术环境中构建数千个预测用户行为的模型，并实现连续的优化广告活动，涉及数十亿的广告展示量和数亿的用户，以及多个不同的性能目标。

    Feb, 2014

  • VeML：大规模高维数据的端到端机器学习生命周期

    本文介绍了一个专门针对端到端机器学习生命周期的版本管理系统 VeML，其中通过核心集算法来解决大规模高维度数据的生命周期构建高成本的问题，同时也能检测训练数据和测试数据之间的不匹配导致的模型准确度下降，而无需使用标记数据来重新构建生命周期。作者在真实的大规模数据集上进行了实验并显示了良好的结果。

    Apr, 2023

  • OmniLytics+: 一个安全、高效、经济实惠的用于机器学习的区块链数据市场，通过离链处理实现

    OmniLytics + 是第一个建立在区块链和智能合约技术上的去中心化数据市场，通过采用零知识（ZK）rollup 范式，秘密共享由加密全局模型计算得到的加密本地梯度，与一组不可信的离链服务器合作生成梯度有效性的 ZK 证明，以在保护隐私的同时提高效率和可负担性。

    Apr, 2024

  • Celeritas: 面向大型数据流图的快速优化器

    Celeritas 是一个快速的框架，通过一系列调度算法优化大型模型的设备配置，减少设备配置时间和提高运行效率。

    Jul, 2022

  • VeLO：通过扩展规模训练多功能学习优化器

    通过与深度学习相同的扩展方法，我们训练一种自适应的深度学习优化器。这个优化器是一个小型神经网络，可摄取梯度并输出参数更新，经过数千个 TPU 月的计算，不需要超参数调整，可以自适应问题进行优化。

    Nov, 2022

  • Saturn：面向大规模模型深度学习工作负载的优化数据系统

    大型语言模型与模型并行化的信息系统架构（SPASE）降低了模型选择运行时间。

    Sep, 2023

  • 具有上下文丰富处理的分析引擎：迈向高效的下一代分析

    提出了一个与组件共同优化的分析引擎，采用在线数据集成和多个真相来源以解决数据清洗和复杂分析问题。

    Dec, 2022

  • Plex: 利用预训练的大型模型扩展实现可靠性

    本研究探讨了人工智能中预训练模型的可靠性，并开发了视觉和语言的大型预训练模型扩展 ViT-Plex 和 T5-Plex，通过 40 个数据集上的 10 种任务评估不同方面的可靠性，包括选择性预测、开放集识别、准确性和适应性，Plex 显著提高了可靠性，同时改善了开箱即用的性能。

    Jul, 2022