Nov, 2023

安全Transformer推理

TL;DR我们提出了一个三方协议,可以在推断阶段保护Transformer参数和用户数据。对于每个前向推断过程,我们的协议只在用户侧引入输入和输出数据的置换计算。我们的协议,Secure Transformer Inference Protocol(STIP),可以应用于像ChatGPT这样的实际服务。