Mar, 2024

同态 WiSARDs:加密数据上高效的无权重神经网络训练

TL;DR该论文介绍了在加密数据上对 Wilkie、Stonham 和 Aleksander 的 Recognition Device (WiSARD) 和 Weightless Neural Networks (WNNs) 进行训练和推理的同态评估方法,相比于卷积神经网络,WNN 在性能上表现更好,准确性下降相对较小。他们开发了一个完整的框架,包括一些具有独立兴趣的构建模块。该框架在经过加密训练后的 MNIST 数据集上获得 91.7% 的准确率,并在 3.5 小时内提升至 93.8%。对于 HAM10000 数据集,经过 1.5 分钟的加密训练,准确率为 67.9%,在 1 小时后提升至 69.9%。相比于现有的 HE 评估 CNN 训练的最新研究结果(Glyph),该框架的速度提升了最多 1200 倍,准确率下降最多为 5.4%。对于 HAM10000 数据集,我们甚至实现了准确率提升 0.65%,同时速度比 Glyph 快 60 倍。此外,他们还提供了小规模加密训练的解决方案,在桌面计算机上的单线程环境下,使用不到 200MB 的内存,可以在 12 分钟内训练 1000 多张 MNIST 图片,或者在 11 秒内训练整个 Wisconsin 乳腺癌数据集。