Aug, 2023

东方：用于推断的高效准确的安全 Transformer 框架

PDF
TL;DR本研究提出了一个名为 East 的框架，用于实现高效和精确的安全 Transformer 推断，通过提出新的忽略式分段多项式评估算法，并将其应用于激活函数，减少了 GELU 的运行时间和通信量，同时精心设计了 Softmax 和层归一化的安全协议，实现了所需功能的准确维护，并进行了若干优化，最终在 BERT 上应用 East 实现了与明文推断相一致的推断准确度，并比 Iron 实现了低 1.8 倍的通信量以及低 1.2 倍的运行时间。
发现论文，激发创造
  • THE-X: 采用同态加密实现隐私保护的 Transformer 推理

    为了保护用户隐私，开发了一个名为 THE-X 的近似变形器方法，使得可以在仅有密文数据的情况下进行预训练模型的隐私保护推断。THE-X 提供了一种处理变压器网络复杂计算的解决方案，并能够使训练后的模型进行加密数据推断，并实现了理论上的隐私保护优势。

    Jun, 2022

  • 安全 Transformer 推理

    我们提出了一个三方协议，可以在推断阶段保护 Transformer 参数和用户数据。对于每个前向推断过程，我们的协议只在用户侧引入输入和输出数据的置换计算。我们的协议，Secure Transformer Inference Protocol（STIP），可以应用于像 ChatGPT 这样的实际服务。

    Nov, 2023

  • LLMs 能理解加密提示：迈向隐私计算友好型变压器

    本文展示了将 transformer 模型中的运算和通信重负荷的操作替换成隐私计算友好的近似可以大大降低私有推理成本，并比先前最先进的 Iron（NeurIPS 2022）获得了 5 倍计算加速和 80% 的通信负担减少，同时保持几乎相同的准确性。

    May, 2023

  • 高效扩展 Transformer 推理

    该研究旨在提高 Transformers 模型的生成推理效率，并通过多维分区技术、低级优化等策略获得较佳的推理效率和 FLOPS 利用率权衡，从而支持 Token 的大批量处理和长文本生成。

    Nov, 2022

  • Transformer 推理的全栈优化：一项调查

    本文调查了提高 Transformer 模型推理效率的不同方法，包括分析现有模型架构的瓶颈和硬件设计的影响，调度操作的挑战，以及通过神经网络架构搜索来优化 Transformer 模型等研究方向。最后，作者将这些方法应用于一个开源的全栈 DNN 加速器生成器中，并表明这些方法都可以对提高模型推理速度产生影响，其中最优的全栈设计方法可以将速度提高多达 88.7 倍，同时性能基本不受损害

    Feb, 2023

  • 将变形器转换为多项式形式，用于通过同态加密进行安全推理

    设计隐私保护深度学习模型是深度学习社区内的一个主要挑战。同态加密（HE）作为其中最有前景的方法之一，在实现模型所有者和数据所有者之间的解耦方面起到了重要作用。我们通过引入第一个多项式变换器并提供了第一个使用 HE 进行安全推断的示例，开创了新的领域。这包括特为 HE 量身定制的变换器架构，以及一种将运算符转换为多项式等效形式的新方法。这一创新使我们能够在 WikiText-103 上进行具有隐私保护的推断，并能够在 CIFAR-100 和 Tiny-ImageNet 上进行图像分类。我们的模型结果与传统方法相当，在性能上填补了与相似规模的变换器之间的差距，突出了 HE 在最先进应用中的可行性。最后，我们评估了模型的稳定性，并进行了一系列的消融实验来量化每个模型组件的贡献。

    Nov, 2023

  • SecFormer：用于大型语言模型的快速准确隐私保护推断

    经过知识蒸馏技术的优化，我们引入了一个名为 SecFormer 的高级优化框架，用于在 Transformer 模型的隐私保护推断中实现性能和效率之间的最佳平衡，并通过使用分段多项式和高德史密特方法处理在推断中的其他复杂非线性函数，实现比 MPCFormer 更好的性能和速度。

    Jan, 2024

  • 选择性网络线性化用于高效私有推理

    提出了一个基于梯度优化的算法，通过 ReLU 感知优化在保证预测准确性的前提下，针对私有推理的瓶颈问题实现了可选择性地进行线性化，实验结果表明，相比现有研究，该算法在提升预测准确率（50K iso-ReLU）上可达到 4.25％，或者在保证预测准确性（70％）的前提下可减少 2.2 倍的运行时间，并在延迟 - 准确性空间中不断完善。

    Feb, 2022

  • 语言理解用的可调节延迟的 Transformer 编码器

    本文提出了一种可以自适应地调整推论计算成本的高效 Transformer 架构，包括 Attention Context Contribution（ACC）度量和新的策略，可用于 BERTbase 模型的微调，并且使得推论延迟提高了 4.8 倍，并且精度下降少于 0.75％。

    Jan, 2022

  • 优化 Transformer 推理技术综述

    本文综述了技术优化变压器网络推断的技术，包括知识蒸馏，修剪，量化，神经架构搜索和轻量级网络设计，以及硬件级优化技术和设计新型硬件加速器，可帮助读者权衡参数 / FLOP 数量和准确性之间的关系。

    Jul, 2023