Jul, 2023

基于 Kubernetes 的云原生 RStudio 与 Hopsworks

PDF
TL;DR使用 Docker 和 Kubernetes 等云原生技术，在 Hopsworks 平台上实现了一个基于多租户模型的 RStudio 服务，解决了性能隔离、安全性和扩展性等多租户环境中的问题，并集成了 Apache Spark 进行大数据处理工作负载，可支持同时运行数百个 RStudio 服务器的潜力。
multi-tenantrstudio serverhopsworksdockerkubernetes
发现论文，激发创造
  • 在 Kubernetes 上使用 GPU 共享构建云原生机器人应用

    本文讨论了在 ZHAW 教授机器人应用编程课程的经验，介绍了使用 Kubernetes（k8s）集群和真实的、异质的机器人硬件相结合的方法，讨论了我们的解决方案在学生无缝模拟体验方面的主要优势以及网络和共享 GPU 支持深度学习工作负载所遇到的主要缺点。提出了未来课程版本避免这些缺点的替代方案，并建议更云原生的方法来部署多个机器人应用程序在 k8s 集群上。

    Oct, 2022

  • Docker 简介与 R 环境下的可重复研究

    本文探讨了计算再现性的重要性和挑战，介绍了当前处理此类问题的方法和局限性，并提出了基于 Docker 技术的解决方法，并给出了几个基于 R 统计环境的 Docker 使用案例。

    Oct, 2014

  • 云端数据密集型超级计算：卫星图像全球分析

    本文介绍了在商业应用中使用云计算支持卫星图像的数据密集型分析的经验和使用自己的虚拟文件系统层演示的结果，证明与 HPC 存储系统相当的读取带宽，并展示了研究结果，包括在乌克兰识别田界和基于 Landsat 图像生成全球无云基础层。

    Feb, 2017

  • 实现机密计算：针对大数据分析和人工智能的安全云架构

    介绍了一种安全的云计算架构，描述了如何在保持数据、逻辑和计算在传输过程中的安全、使用和静止状态的情况下，实现工作流打包和调度。

    May, 2023

  • 大数据性能优化自主架构

    KERMIT 是一种自主架构，可以自动调整 Apache Spark 和 Hadoop，并能识别和分类复杂的多用户工作负载，以达到比人工管理员的启发式调优快 30％，并且比通过对调优参数空间进行透彻搜索获得的最快调优结果快高达 92％。

    Mar, 2023

  • Jaseci 编程范式和运行时堆栈：轻松快速构建可扩展的生产级应用

    我们开发了一个新颖的协同设计运行时系统 Jaseci 与编程语言 Jac，旨在降低分布式应用开发、优化、配置和部署的复杂性并提高开发人员的生产率。我们使用真实的人工智能应用程序来证明 Jaseci 对应用程序性能和开发人员生产率的好处。

    May, 2023

  • Kubernetes 上的无服务器推理

    本文介绍了利用 KFServing 这一构建在 KNative 无服务器框架之上的服务器化机器学习推理解决方案，在保持简洁一致的界面的同时缓解了基础设施成本与 GPU 推理的自动扩容挑战。

    Jul, 2020

  • 云服务使异构资源上高效的 AI 引导仿真工作流程成为可能

    使用多种计算资源，如高度并行的超级计算机和专用加速器，部署基于 AI 的模拟工作流非常有利，其中，云托管管理服务的使用可以简化跨资源身份验证和授权，功能即服务（FaaS）函数调用和数据传输等方面的管理，我们的研究表明使用云托管管理服务可以实现与直接连接资源使用情况相当的性能优化。

    Mar, 2023

  • 远程感知中异构系统的动态组合方法

    本文介绍了一种新的动态组合异构系统的方法，以进一步推进数据驱动的科学实践，以提高计算效率和特定科学领域的可用工具，并概述了一项以可组合基础架构为基础的案例研究，展示了火灾建模的应用。

    Nov, 2022

  • FSD-Inference：基于云通信的完全无服务器分布式推断

    FSD-Inference 是第一个完全无服务器且高度可扩展的分布式机器学习推断系统，通过与 FaaS 计算相结合，探索了潜在的通信渠道，为无服务器数据密集型计算中的分布式机器学习设计了一种先进的解决方案。

    Mar, 2024