Apr, 2023

使用同态加密敏感调整大规模 CNN，实现端到端的安全预测

PDF
TL;DR本文提出了一种新的 HE-friendly 模型的训练方法，展示了如何使用 HC Layers SDK 运行加密样本，并证明该模型可以在保持高准确度的同时，大大节省运行时间；研究人员还讨论了在 HE 条件下处理激活函数和跳过连接的不同策略，并且通过改编 CLIP 模型实现了安全的零 - shot 预测。
privacy-preservingmachine learninghomomorphic encryptiondeep cnnssecure zero-shot prediction
发现论文，激发创造
  • 具有转移学习的隐私保护卷积神经网络训练

    这篇论文提出了一种基于同态加密技术的隐私保护卷积神经网络训练的实现解决方案，并应用转移学习简化了 CNN 的训练问题。

    Apr, 2023

  • 针对同态加密的 AlexNet 时刻：使用 GPU 对加密数据进行的第一个同态 CNN，HCNN

    本文提出了一种使用全同态加密、卷积神经网络和图形处理器的高效隐私保护系统，用于在云端进行基于样本的模型推断，能够在保证数据安全的前提下实现高性能图像分类。

    Nov, 2018

  • 用于加密数据的高效 CNN 建模块

    本文介绍充分同态加密 (Fully Homomorphic Encryption, FHE) 在机器学习中的应用，针对现有文章只关注于数据安全而忽略模型参数的安全问题，以及高层级的实现不提供对深度卷积神经网络 (CNNs) 中的卷积、非线性激活和汇聚等常见操作的精确性、安全性和速度之间权衡问题，基于 CKKS 算法，提出了使用 FHE 保护输入数据和模型参数的 MLaaS 机制，并在经典的 MNIST 数据集上进行了实现和测试，结果表明设计参数选择会在正确性、安全和计算时间之间产生重要影响，同时还强调了其他设计选择如密文打包策略和多线程并行化也对推断过程的吞吐量和延迟产生了重要影响

    Jan, 2021

  • 神经网络训练和推理中利用同态加密实现数据隐私保护

    本研究综述了利用同态加密解决神经网络数据隐私和安全问题的技术和策略，并分析了同态加密在神经网络训练和分类方面的当前研究现状、分类以及优化加密模型准确性和效率的技术。评估结果表明，尽管同态加密可以为神经网络提供强大的数据隐私保证，但仍存在许多挑战需要解决，例如对高级神经网络运算的有限支持、可扩展性问题以及性能平衡问题。

    May, 2023

  • CryptoNN：在加密数据上训练神经网络

    提出了一种名为 CryptoNN 的框架，该框架使用功能性加密方案来支持加密数据上的神经网络模型的训练，以解决神经网络模型训练过程中的隐私问题，并显示出与 MNIST 数据集上基线神经网络模型相似的准确性。

    Apr, 2019

  • 超维度计算：高效隐私保护机器学习即服务的救星

    本文研究了使用超维度计算与同态加密的机器学习推断系统，实现了对加密数据的隐私保护，同时提高了性能。

    Aug, 2023

  • 将变形器转换为多项式形式，用于通过同态加密进行安全推理

    设计隐私保护深度学习模型是深度学习社区内的一个主要挑战。同态加密（HE）作为其中最有前景的方法之一，在实现模型所有者和数据所有者之间的解耦方面起到了重要作用。我们通过引入第一个多项式变换器并提供了第一个使用 HE 进行安全推断的示例，开创了新的领域。这包括特为 HE 量身定制的变换器架构，以及一种将运算符转换为多项式等效形式的新方法。这一创新使我们能够在 WikiText-103 上进行具有隐私保护的推断，并能够在 CIFAR-100 和 Tiny-ImageNet 上进行图像分类。我们的模型结果与传统方法相当，在性能上填补了与相似规模的变换器之间的差距，突出了 HE 在最先进应用中的可行性。最后，我们评估了模型的稳定性，并进行了一系列的消融实验来量化每个模型组件的贡献。

    Nov, 2023

  • 基于全同态加密的隐私保护深度神经网络机器学习

    本文使用了 RNS-CKKS FHE 技术及 bootstrapping 策略，并采用最新的近似方法来评估非算术函数，成功实现了对 CIFAR-10 数据集上的 ResNet-20 模型进行 FHE 加密计算，并经过数值验证，得出分类准确率达到了 90.67%。

    Jun, 2021

  • SHE: 一种快速而准确的用于加密数据的深度神经网络

    本文提出了一种基于 Shift-accumulation 的 Leveled-HECNNs 深度神经网络 (SHE)，通过二进制友好的 LTFHE 加密方案实现了 ReLU 激活和最大汇聚，采用对数量化来加速推理，使用混合位宽累加器加速累加，并具有更小的乘法深度开销，实现了更深的网络结构。实验结果表明，SHE 在 MNIST 和 CIFAR-10 上实现了最先进的推理精度，并将推理延迟降低了 76.21% 至 94.23％。

    Jun, 2019

  • 加密数据上的深度神经网络

    本文针对深度神经网络访问隐私敏感的原始数据的问题，提出了一种基于同态加密方案的新技术，并将其应用于卷积神经网络中，使用多项式替代常用激活函数，成功地实现了隐私保护的预测，同时取得了非常高的精度和有效性。

    Nov, 2017