Oct, 2023

基于动态规划的全同态加密下优化逐层多项式逼近的高效私密推理

PDF
TL;DR通过对激活函数进行逐层优化并调整密文模量链，本文提出了一种降低推理时间的隐私保护深度神经网络实现方法，可以将 ResNet-20 模型和 ResNet-32 模型的推理时间分别缩短 3.44 倍和 3.16 倍。
发现论文，激发创造
  • 正则化的 PolyKervNets：优化深度神经网络中的表达能力和效率以实现私人推断

    通过优化训练方法，提高 PolyKervNets 在大型网络中的性能，可能消除传统非线性激活函数的需求，推动隐私保护深度神经网络架构的最新发展。

    Dec, 2023

  • 利用稀疏性加速加密神经网络的真实世界推断

    本文介绍了 Faster CryptoNets，一种使用神经网络进行高效加密推理的方法。该方法使用了稀疏表示在底层密码系统中的剪枝和量化方法来加速推理，并展示了如何使用隐私安全的训练技术来减少加密推理的开销。本方法可以有效保护用户隐私并且在保持精度的同时实现了显著的加速。

    Nov, 2018

  • 低精度多项式逼近的神经网络：提高准确性的新见解与技术

    通过使用多项式逼近替换神经网络中的非多项式函数，并结合高精确逼近，本论文提出的多项式逼近神经网络（PANN）在实现隐私保护模型推理时与底层骨干模型具有类似的推理准确性。此外，通过对 PANN 的独立性进行调查，论文提出了提高 PANN 推理准确度的解决方案，并通过实验证明了解决方案的有效性。

    Feb, 2024

  • 低延迟隐私保护推理

    该研究在机器学习应用到敏感数据时，结合同态加密技术和神经网络提供了两种解决方案，分别是提高深度和宽度相对较高的网络精度和降低网络推理的延迟时间以提供更好的隐私保障。这两种方案应用于几个计算机视觉任务，并获得了良好的效果。

    Dec, 2018

  • 通过联合设计激活函数进行深度神经网络的快速和私密推断

    介绍了一种基于多方计算的机器学习服务（MLaaS）的方法，通过使用多项式逼近替换 ReLU 激活函数和采用单轮 MPC 协议进行评估，实现了在大型模型上快速准确的推理，从而保护客户数据隐私。

    Jun, 2023

  • 选择性网络线性化用于高效私有推理

    提出了一个基于梯度优化的算法，通过 ReLU 感知优化在保证预测准确性的前提下，针对私有推理的瓶颈问题实现了可选择性地进行线性化，实验结果表明，相比现有研究，该算法在提升预测准确率（50K iso-ReLU）上可达到 4.25％，或者在保证预测准确性（70％）的前提下可减少 2.2 倍的运行时间，并在延迟 - 准确性空间中不断完善。

    Feb, 2022

  • 将变形器转换为多项式形式，用于通过同态加密进行安全推理

    设计隐私保护深度学习模型是深度学习社区内的一个主要挑战。同态加密（HE）作为其中最有前景的方法之一，在实现模型所有者和数据所有者之间的解耦方面起到了重要作用。我们通过引入第一个多项式变换器并提供了第一个使用 HE 进行安全推断的示例，开创了新的领域。这包括特为 HE 量身定制的变换器架构，以及一种将运算符转换为多项式等效形式的新方法。这一创新使我们能够在 WikiText-103 上进行具有隐私保护的推断，并能够在 CIFAR-100 和 Tiny-ImageNet 上进行图像分类。我们的模型结果与传统方法相当，在性能上填补了与相似规模的变换器之间的差距，突出了 HE 在最先进应用中的可行性。最后，我们评估了模型的稳定性，并进行了一系列的消融实验来量化每个模型组件的贡献。

    Nov, 2023

  • 私有推理的线性化对群体准确率的不平等影响

    保障隐私保护推理的计算挑战是已知的，通过线性化神经网络激活函数中的目标部分可以显著减少运行时间，但可能导致对少数群体的准确性下降，我们提出了一种简单的细调方法来有效缓解这个问题。

    Feb, 2024

  • 具有转移学习的隐私保护卷积神经网络训练

    这篇论文提出了一种基于同态加密技术的隐私保护卷积神经网络训练的实现解决方案，并应用转移学习简化了 CNN 的训练问题。

    Apr, 2023

  • 通过凸优化对两层多项式和 ReLU 激活网络进行对抗训练

    训练神经网络，使其对抗性攻击具有鲁棒性，特别是在采用过度参数化的模型进行安全关键设置时，仍然是深度学习中的一个重要问题。

    May, 2024