Aug, 2023

Falcon：用于高效私密移动网络推断的同态加密卷积加速器

PDF
TL;DR本文提出了 Falcon，一种用于基于 HE 的二方计算框架的高效密实打包算法，它通过零感知贪心打包算法和通信感知操作器平铺策略，提高了深度卷积的打包密度，在操作器级别上相比于其他 HE-based 2PC 框架，实现了 15.6x、5.1x 和 1.8x 的延迟降低，并且在网络级别上，在 CIFAR-100 和 TinyImagenet 数据集上相较于 Cheetah 分别提高了 1.4% 和 4.2% 的准确率，并且具有等通信的特征。
发现论文，激发创造
  • 基于 Fourier 变换的快速安全卷积神经网络预测方法 FALCON

    本文提出了一种基于傅里叶变换的具有快速和安全特点的卷积神经网络预测方法 FALCON，并介绍了第一个对 CNN 中不可或缺的 softmax 函数进行高效和保护隐私的协议，该方法通过全同态加密有效地评估了 CNN 模型的线性层，并在真实世界的 CNN 模型上进行了性能评估，实验结果表明，FALCON 在计算和通信成本方面优于最佳已知方法。

    Nov, 2018

  • FALCON：私有深度学习的诚实大多数恶意安全框架

    本文提出了一种名为 Falcon 的端到端的 3 方协议，用于高效的私有机器学习模型训练和推理，它支持高效网络并且包容批量归一化，有安全性保证，并且比先前的解决方案更快速和更高效。

    Apr, 2020

  • CryptoGCN：快速且可扩展的同态加密图卷积网络推断

    该论文介绍了一种基于同态加密的 GCN（图卷积网络）推断框架 CryptoGCN，最大程度地保持了数据隐私，并有效利用矩阵操作的稀疏性，提高了同态加密的计算效率，最终实验证明其比目前最先进的解决方案更有效。

    Sep, 2022

  • 针对同态加密的 AlexNet 时刻：使用 GPU 对加密数据进行的第一个同态 CNN，HCNN

    本文提出了一种使用全同态加密、卷积神经网络和图形处理器的高效隐私保护系统，用于在云端进行基于样本的模型推断，能够在保证数据安全的前提下实现高性能图像分类。

    Nov, 2018

  • HyPHEN: 基于同态加密神经网络的混合打包方式和优化

    利用全同态加密的卷积神经网络有潜力实现私有推理，但先前的方案存在运算与内存开销过高的问题，HyPHEN 是一种高效的方案，通过数据压缩和加密特定优化来降低计算和内存开销，在 CIFAR-10 推理中可将延迟降至 1.40s，ImageNet 推理则为 16.87s。

    Feb, 2023

  • HEQuant: 结合同态加密和量化的通信高效私有推断

    HEQuant 是基于低精度量化感知优化的 HE 协议，在保护数据隐私的同时能够显著降低通信开销和延迟，相较于其他先前的 HE 协议和网络优化框架，HEQuant 在通信和性能方面都能取得显著的提升。

    Jan, 2024

  • SHE: 一种快速而准确的用于加密数据的深度神经网络

    本文提出了一种基于 Shift-accumulation 的 Leveled-HECNNs 深度神经网络 (SHE)，通过二进制友好的 LTFHE 加密方案实现了 ReLU 激活和最大汇聚，采用对数量化来加速推理，使用混合位宽累加器加速累加，并具有更小的乘法深度开销，实现了更深的网络结构。实验结果表明，SHE 在 MNIST 和 CIFAR-10 上实现了最先进的推理精度，并将推理延迟降低了 76.21% 至 94.23％。

    Jun, 2019

  • 使用同态加密敏感调整大规模 CNN，实现端到端的安全预测

    本文提出了一种新的 HE-friendly 模型的训练方法，展示了如何使用 HC Layers SDK 运行加密样本，并证明该模型可以在保持高准确度的同时，大大节省运行时间；研究人员还讨论了在 HE 条件下处理激活函数和跳过连接的不同策略，并且通过改编 CLIP 模型实现了安全的零 - shot 预测。

    Apr, 2023

  • FALCON: 面向神经网络剪枝的 FLOP 感知组合优化

    神经网络的计算需求逐渐增加，同时对资源有限的设备提出了部署挑战。网络剪枝是在保持性能的同时减小模型大小和计算成本的解决方案。本文提出了 FALCON，一种基于组合优化的网络剪枝框架，同时考虑了模型准确性、FLOPs 和稀疏性约束。我们的算法可以解决含有数百万参数的问题实例，并证明在固定 FLOP 预算下，FALCON 相比其他剪枝方法具有更高的准确性。此外，在逐步剪枝设置中，我们的框架表现优于现有的剪枝方法，强调了对有效网络剪枝而言，结合 FLOP 和稀疏性约束的重要性。

    Mar, 2024

  • 用于加密数据的高效 CNN 建模块

    本文介绍充分同态加密 (Fully Homomorphic Encryption, FHE) 在机器学习中的应用，针对现有文章只关注于数据安全而忽略模型参数的安全问题，以及高层级的实现不提供对深度卷积神经网络 (CNNs) 中的卷积、非线性激活和汇聚等常见操作的精确性、安全性和速度之间权衡问题，基于 CKKS 算法，提出了使用 FHE 保护输入数据和模型参数的 MLaaS 机制，并在经典的 MNIST 数据集上进行了实现和测试，结果表明设计参数选择会在正确性、安全和计算时间之间产生重要影响，同时还强调了其他设计选择如密文打包策略和多线程并行化也对推断过程的吞吐量和延迟产生了重要影响

    Jan, 2021