TAPAS: 加速(加密)预测服务的技巧
本文提出了一种使用全同态加密技术(Fully Homomorphic Encryption, FHE)来实现隐私保护文本分类的高效方法,旨在在不泄漏数据隐私的前提下,保持预测准确性。
Aug, 2019
本文介绍充分同态加密(Fully Homomorphic Encryption, FHE)在机器学习中的应用,针对现有文章只关注于数据安全而忽略模型参数的安全问题,以及高层级的实现不提供对深度卷积神经网络(CNNs)中的卷积、非线性激活和汇聚等常见操作的精确性、安全性和速度之间权衡问题,基于 CKKS 算法,提出了使用 FHE 保护输入数据和模型参数的MLaaS机制,并在经典的MNIST数据集上进行了实现和测试,结果表明设计参数选择会在正确性、安全和计算时间之间产生重要影响,同时还强调了其他设计选择如密文打包策略和多线程并行化也对推断过程的吞吐量和延迟产生了重要影响
Jan, 2021
本文介绍了一种隐私保护机器学习的开源库 TenSEAL,使用同态加密技术可以轻松集成到流行的机器学习框架中,使用 MNIST 数据集进行基准测试并验证了加密的卷积神经网络可以在不到一秒钟的时间内进行评估,并且使用不到半兆字节的通信。
Apr, 2021
本研究旨在通过设计一种远程数据隐私保护算法,利用概率近似算子,使得同步训练的目标模型能够在保证差分隐私的前提下,更好地应用于深度学习领域,并优化计算效率。
Apr, 2023
本研究综述了利用同态加密解决神经网络数据隐私和安全问题的技术和策略,并分析了同态加密在神经网络训练和分类方面的当前研究现状、分类以及优化加密模型准确性和效率的技术。评估结果表明,尽管同态加密可以为神经网络提供强大的数据隐私保证,但仍存在许多挑战需要解决,例如对高级神经网络运算的有限支持、可扩展性问题以及性能平衡问题。
May, 2023
这项工作主要关注机器学习模型的训练阶段,在这个阶段对用户数据的隐私保护至关重要。我们提供了坚实的理论背景,以便更容易理解当前方法及其局限性。此外,我们对最新的模型训练框架进行了详细比较,提供了在标准基准上独特属性和性能的全面对比。我们重现了一些论文的结果,并考察现有作品对开放科学的支持程度,认为我们的工作就提高了关于隐私保护机器学习在理论进展和实际应用之间差距的意识,特别是在开放源代码可用性、可重复性和可用性方面。
Mar, 2024
HETAL是一种高效的基于同态加密的迁移学习算法,通过使用CKKS同态加密方案对客户数据进行加密,并采用基于验证的早停方法,实现了对客户隐私的保护,并达到了非加密训练的准确性。
Mar, 2024
该论文介绍了在加密数据上对Wilkie、Stonham和Aleksander的Recognition Device (WiSARD)和Weightless Neural Networks (WNNs)进行训练和推理的同态评估方法,相比于卷积神经网络,WNN在性能上表现更好,准确性下降相对较小。他们开发了一个完整的框架,包括一些具有独立兴趣的构建模块。该框架在经过加密训练后的MNIST数据集上获得91.7%的准确率,并在3.5小时内提升至93.8%。对于HAM10000数据集,经过1.5分钟的加密训练,准确率为67.9%,在1小时后提升至69.9%。相比于现有的HE评估CNN训练的最新研究结果(Glyph),该框架的速度提升了最多1200倍,准确率下降最多为5.4%。对于HAM10000数据集,我们甚至实现了准确率提升0.65%,同时速度比Glyph快60倍。此外,他们还提供了小规模加密训练的解决方案,在桌面计算机上的单线程环境下,使用不到200MB的内存,可以在12分钟内训练1000多张MNIST图片,或者在11秒内训练整个Wisconsin乳腺癌数据集。
Mar, 2024