我们提出了 zkLLM，这是我们所知的第一个专门为 LLMs 量身定制的零知识证明，以解决验证 LLMs 生成的输出的真实性的根本挑战。通过完全并行化的 CUDA 实现，我们的方法使得在不到 15 分钟内为拥有 130 亿参数的 LLMs 生成整个推理过程的正确性证明成为可能，该证明的尺寸小于 200 kB，旨在保护模型参数的隐私，确保没有意外信息泄漏。

Apr, 2024

人工智能技术进展迅速，机器学习模型的使用逐渐成为我们日常生活的一部分。这篇论文提供了一份对基于零知识证明的可验证机器学习（ZKP-VML）技术的综合调查报告，分析了不同机器学习场景中可能存在的可验证性问题，并通过详细分析和分类现有工作的技术方法，讨论了 ZKP-VML 领域面临的关键挑战和未来方向。

Oct, 2023

基于零知识证明的聚合器 (zkDFL) 使用区块链技术管理聚合算法，以验证进程正确性、增强隐私保护和可扩展性，同时显著降低了燃气成本。

Dec, 2023

使用 DP-ZeRO 系统化解决可训练的巨大 DP 模型的问题，实现深度学习和大型模型的隐私保护训练。

Nov, 2023

基于零知识证明技术的 FairProof 系统通过公开验证模型公平性的同时保持机密性，解决了使用机器学习模型时面临的法律、隐私及公平性等问题。

Feb, 2024

利用零知识证明技术（Zero-Knowledge Proofs，ZKPs）解决机器学习模型的性能公平性和准确性问题，同时保护模型隐私，从而提高人工智能的公平性和透明度。引入了 snarkGPT，一个实际的 ZKML 实现，用于验证生成内容的准确性和质量，同时保护模型的隐私。通过研究 snarkGPT 的可扩展性和性能，评估了采用基于 ZKML 的方法来捕捉生成 AI 模型中的质量和性能公平性问题的可行性和挑战。

Feb, 2024

介绍了 ZIP-DL 这一创新的隐私保护分散式学习算法，通过在模型训练过程中添加相关噪声的方法来确保噪声在聚合过程中几乎自动中和，最小化对模型准确性的影响；ZIP-DL 不需要多次通信来进行噪声抵消，解决了隐私保护和通信开销之间的常见权衡问题，并提供了收敛速度和隐私保证的理论保证，从而使其适用于实际场景；详尽的实验研究表明，ZIP-DL 在漏洞性和准确性之间取得了最佳平衡，特别是相比基线 DL，(i) 将可链接性攻击的有效性降低了最多 52 个百分点，并且 (ii) 在面对针对隐私保护竞争对手的成员推断攻击时，相同漏洞下的准确性提高了最多 37 个百分点。

Mar, 2024

DeepZero 是一个基于 Zeroth-order optimization 的深度学习框架，通过三个主要创新使得 ZO 优化可用于深度神经网络的训练，同时实现了与一阶优化相当的性能，其优点包括坐标梯度估计（CGE）在训练准确性和计算效率上的优势，以及利用模型剪枝方法扩展稀疏 DL 先验信息的 ZO 训练协议，并通过特征重用和前向并行化方法提高 ZO 训练的实际实施。

Oct, 2023

本文提出了一种使用零阶优化和科学知识源相结合的深度学习训练方案，以弥补在复杂科学领域中由于大量数据需求导致的有限成功。在两个真实的材料科学应用程序中，我们验证了拟议的方案的性能，证明它能够有效地将科学知识与深度学习训练相结合，并且能够在数据有限的科学应用中优于纯数据驱动的模型。本文还讨论了所提出方法的一些限制，并提出了可能值得探索的未来方向。

Jun, 2022

提出了一个可验证的分散式联邦学习系统，结合区块链和零知识证明，可以在工作者之间验证本地学习和全局聚合的计算完整性。通过引入两步证明和验证的方法，实现了数据和计算的端到端完整性和真实性验证，解决了机密性和透明性之间的冲突。在一个原型实现上的评估表明，与最先进的解决方案相比，技术上是可行的，并且只有较小的性能开销。

Apr, 2024