Jul, 2024

TensorTEE: 统一异构 TEE 粒度，实现高效安全协同张量计算

HTML
PDF
TL;DR提出了一种用于高效安全协同张量计算的统一张量粒度异构TEE解决方案，通过虚拟支持CPU TEE中的张量粒度以及张量粒度的MAC管理和直接数据传输，改进了大语言模型训练工作负载的性能并提供了实际的安全保障。
发现论文，激发创造
  • 张量处理单元的数据中心性能分析

    本研究是对 Tensor Processing Unit (TPU) 这种加速神经网络 (NN) 推理阶段的定制 ASIC 进行的评估，与同样部署在数据中心的 Intel Haswell CPU 和 Nvidia K80 GPU 相比，TPU 在保证相应时间的情况下比GPU或CPU平均快15倍-30倍，TOPS/Watt比GPU提高近70倍，比CPU提高200倍。

    Apr, 2017

  • TensorFlow中使用安全计算实现私密机器学习

    本文提出了一个针对安全多方计算（secure multi-party computation）在TensorFlow平台下的实验框架，并提供了一种开源的最新协议实现方式及具体案例，以及使用typical私有机器学习模型方面的基准测试结果。

    Oct, 2018

  • Serdab：一种物联网框架，用于将神经网络计算划分到多个飞地中

    Serdab是一个分布式编排框架，用于在多个安全密封实例（例如Intel SGX）上部署深度神经网络计算的DNN分区策略，可以跨多个安全密封设备或安全密封设备和其他硬件加速器分配神经网络的层，以解决保护用户数据隐私的挑战。

    May, 2020

  • 使用可信执行环境进行安全计算的调查

    该文介绍了基于TEE的安全计算协议的系统性评估和比较，提出了一种将安全计算协议分类的方法，并讨论了TEE的特定计算功能，如隐私保护机器学习和加密数据库查询等。该文是第一篇对TEE的安全计算协议进行全面比较的综述性文章，比较结果可作为实践中选择合适协议的指南，同时还探讨了未来的研究方向和挑战。

    Feb, 2023

  • 云端神经网络训练中的保密性保护

    Tempo是首个与TEE和分布式GPU合作的基于云的深度学习系统，通过引入以排列为基础的隐匿算法以盲化输入和模型参数，并提出了一种优化机制来减少加密操作，从而在保护模型隐私的同时加速了深度神经网络的训练，实验证明Tempo优于基准方法并提供足够的隐私保护。

    Jan, 2024

  • T3: 透明化追踪与触发技术用于计算和集合的细粒度叠加

    T3是一种通过硬件-软件协同设计，透明地重叠序列化的通信和计算，并最小化资源争用的方法，可对Transformer模型进行加速，减少数据移动。

    Jan, 2024

  • Spin: 一种高效的带GPU加速的安全计算框架

    Spin是一种GPU加速的多方计算(MPC)框架，支持多个计算方和一个不诚实的多数敌对设置。该框架提出了针对非线性函数的优化协议，以及用于注意力的几种新颖优化，允许Spin在不牺牲安全性的情况下执行复杂的CNN训练和Transformer推断。综合评估表明，Spin在深度神经网络训练方面比现有技术快2倍。对于一个具有1890万参数的Transformer模型的推断，Spin的注意力特定优化可实现更好的效率、更少的通信和更高的准确性。

    Feb, 2024

  • Pencil: 私密且可扩展的协作学习，无需无合谋假设

    Pencil是第一种为协作学习提供数据隐私、模型隐私和可扩展性的私有训练框架，无需依赖于非勾结假设。

    Mar, 2024

  • 黑曜石：在安全机器学习加速器上进行高效推断的协同状态空间探索

    本研究解决了在机器学习加速器的信任执行环境中，优化工作负载以提高性能和能效的挑战。通过协同使用分析模型和周期准确模型探索状态空间，Obsidian框架能够实现最佳模型映射，并且在云和边缘部署中显著降低了推断延迟和能耗，展示了其有效性和潜在影响。

    Sep, 2024

  • 在nVIDIA H100 GPU上的保密计算：性能基准研究

    本研究解决了启用可信执行环境（TEE）对NVIDIA H100 GPU在大型语言模型（LLM）推理任务中性能的影响。研究表明，尽管GPU内部的计算开销较小，但总体性能罚款主要来自于通过PCIe的数据传输；绝大多数典型LLM查询的开销保持在5%以下。

    Sep, 2024