将变形器转换为多项式形式，用于通过同态加密进行安全推理

Nov, 2023

将变形器转换为多项式形式，用于通过同态加密进行安全推理

Converting Transformers to Polynomial Form for Secure Inference Over Homomorphic Encryption

Itamar Zimerman, Moran Baruch, Nir Drucker, Gilad Ezov, Omri Soceanu...

TL;DR设计隐私保护深度学习模型是深度学习社区内的一个主要挑战。同态加密（HE）作为其中最有前景的方法之一，在实现模型所有者和数据所有者之间的解耦方面起到了重要作用。我们通过引入第一个多项式变换器并提供了第一个使用 HE 进行安全推断的示例，开创了新的领域。这包括特为 HE 量身定制的变换器架构，以及一种将运算符转换为多项式等效形式的新方法。这一创新使我们能够在 WikiText-103 上进行具有隐私保护的推断，并能够在 CIFAR-100 和 Tiny-ImageNet 上进行图像分类。我们的模型结果与传统方法相当，在性能上填补了与相似规模的变换器之间的差距，突出了 HE 在最先进应用中的可行性。最后，我们评估了模型的稳定性，并进行了一系列的消融实验来量化每个模型组件的贡献。

Abstract

Designing privacy-preserving deep learning models is a major challenge within the deep learning community. homomorphic encryption (HE) has emerged as one of the most promising approaches in this realm, enabling t

privacy-preserving deep learning homomorphic encryption polynomial transformer secure inference transformer architecture

发现论文，激发创造

THE-X: 采用同态加密实现隐私保护的 Transformer 推理

为了保护用户隐私，开发了一个名为 THE-X 的近似变形器方法，使得可以在仅有密文数据的情况下进行预训练模型的隐私保护推断。THE-X 提供了一种处理变压器网络复杂计算的解决方案，并能够使训练后的模型进行加密数据推断，并实现了理论上的隐私保护优势。

Jun, 2022

使用同态加密敏感调整大规模 CNN，实现端到端的安全预测

本文提出了一种新的 HE-friendly 模型的训练方法，展示了如何使用 HC Layers SDK 运行加密样本，并证明该模型可以在保持高准确度的同时，大大节省运行时间；研究人员还讨论了在 HE 条件下处理激活函数和跳过连接的不同策略，并且通过改编 CLIP 模型实现了安全的零 - shot 预测。

Apr, 2023

具有转移学习的隐私保护卷积神经网络训练

这篇论文提出了一种基于同态加密技术的隐私保护卷积神经网络训练的实现解决方案，并应用转移学习简化了 CNN 的训练问题。

Apr, 2023

神经网络训练和推理中利用同态加密实现数据隐私保护

本研究综述了利用同态加密解决神经网络数据隐私和安全问题的技术和策略，并分析了同态加密在神经网络训练和分类方面的当前研究现状、分类以及优化加密模型准确性和效率的技术。评估结果表明，尽管同态加密可以为神经网络提供强大的数据隐私保证，但仍存在许多挑战需要解决，例如对高级神经网络运算的有限支持、可扩展性问题以及性能平衡问题。

May, 2023

基于全同态加密的树型隐私推断

本文介绍了使用 Fully Homomorphic Encryption 应用于基于树的数据模型，通过 Concrete-ML 库在加密选项卡 ular 数据上得到最先进的解决方案，此方法适用于决策树，随机森林和梯度提升树等广泛使用的基于树的模型，而且在准确性方面与未受保护版本非常接近。

Feb, 2023

加密 Fine-tuning 变压器：使用完全同态加密

通过在完全同态加密数据上进行的训练，提出了 BlindTuner 这一隐私保护的 Fine-Tuning 系统，用于图像分类，并证实其在准确性上与非加密模型相当，并且相对于先前研究在速度上有 1.5 倍至 600 倍的显著提升。

Feb, 2024

GuardML: 通过混合同态加密实现高效隐私保护的机器学习服务

以保护隐私和安全的机器学习模型为目标，我们提出了一种基于混合同态加密方案的隐私保护机器学习方法，通过使用混合同态加密构建安全的分类结果学习模型，同时保护输入数据和机器学习模型的隐私。我们通过开发和评估一个基于混合同态加密的隐私保护机器学习应用程序，用于基于敏感心电图数据的心脏疾病分类，证明了我们方法的实际可行性。这种混合同态加密方案的成功整合为相对受限的末端设备上的机器学习提供了一个更安全、更注重隐私的未来展望。

Jan, 2024

超维度计算：高效隐私保护机器学习即服务的救星

本文研究了使用超维度计算与同态加密的机器学习推断系统，实现了对加密数据的隐私保护，同时提高了性能。

Aug, 2023

利用 TFHE 进行加密推断的深度神经网络

本论文探讨了如何构建与 TFHE 约束兼容的深度神经网络，为计算机视觉任务提供了一种基于全同态加密的解决方案。

Feb, 2023

用于加密数据的高效 CNN 建模块

本文介绍充分同态加密 (Fully Homomorphic Encryption, FHE) 在机器学习中的应用，针对现有文章只关注于数据安全而忽略模型参数的安全问题，以及高层级的实现不提供对深度卷积神经网络 (CNNs) 中的卷积、非线性激活和汇聚等常见操作的精确性、安全性和速度之间权衡问题，基于 CKKS 算法，提出了使用 FHE 保护输入数据和模型参数的 MLaaS 机制，并在经典的 MNIST 数据集上进行了实现和测试，结果表明设计参数选择会在正确性、安全和计算时间之间产生重要影响，同时还强调了其他设计选择如密文打包策略和多线程并行化也对推断过程的吞吐量和延迟产生了重要影响

Jan, 2021