PQLM -- 多语言去中心化便携式量子语言模型用于隐私保护
研究人员使用DisCoCat模型设计了一种基于量子计算机实现的支持向量机(SVM)的量子内核函数,该函数可以用于NLP任务并使用两种相似性度量来训练单词嵌入,结果表明第二种方法的测试精度最高,并且经SWAP测试后具有鲁棒性,有助于进一步研究我们提出的基于内核的QNLP范式。
May, 2022
本文提出了一种简单易行、计算轻量化的扰动机制,保证了模型的隐私性,在不影响模型实用性的情况下,可应用于所有LLM模型,解决了LLM在隐私保护与重新训练之间的折中问题。
May, 2022
本研究探讨使用量子计算与预训练模型结合的经典-量子转移学习方法在自然语言处理上的效果,提出了一种基于复数BERT的句子状态预训练方法,并应用于经典-量子转移学习中进行句子分类,取得末端量子模型性能50%到60%的提升。
Feb, 2023
本研究在噪声中间规模量子(NISQ)设备上探索了使用量子自然语言处理算法进行语言翻译的可行性。我们采用香农熵来展示旋转门的适当角度在参数化量子电路性能中的重要作用,并利用这些角度(参数)作为不同语言的量子电路之间的通信方式,最终通过经典神经网络的编码器-解码器模型和长短期记忆(LSTM)的翻译任务实现了量子神经机器翻译,该翻译方法相对于经典方法具有潜在优势。在160个样本的实验中,我们使用了三种优化器训练模型,并通过使用Adam优化器训练具有两个LSTM层的最佳模型获得了最佳结果,其平均绝对误差为0.03,均方误差为0.002,损失为0.016。我们的研究结果表明,尽管使用简单的同义句进行训练,但Shannon熵在处理复杂句子结构的更复杂机器翻译模型中具有一定的实用性。
Jul, 2023
我们设计了一个三层渐进式框架,用于评估语言系统的隐私,以解决大型语言模型在隐私保护方面的问题。观察结果显示,现有的汉语大型语言模型普遍存在隐私保护方面的缺陷,可能在基于这些模型的应用中带来相应的隐私风险。
Mar, 2024
保证数据隐私在机器学习模型中至关重要,尤其是在分布式环境中,其中模型梯度通常在多个参与方之间共享,以实现协同学习。该研究揭示了基于量子机器学习模型的梯度中恢复输入数据的困难程度,并发现了动力学李代数在决定隐私漏洞方面的重要作用。研究结果显示,作为学习模型的变分量子电路的动力学李代数的某些特性可能导致隐私泄露,使得能够从输入数据的快照中训练用于不同学习任务的变分量子电路模型。此外,研究还探讨了从这些快照中恢复原始输入数据的条件,建立了与编码映射、动力学李代数基的重合度以及傅里叶频率特性等相关的条件,从而使得用于近似多项式时间恢复原始输入数据的经典或量子辅助方法成为可能。因此,该研究的发现对于指导设计平衡可训练性和强大隐私保护的量子机器学习模型的要求至关重要。
May, 2024
本研究探讨了大型语言模型(LLMs)在隐私保护方面面临的挑战,特别是在关键领域(如医疗保健)中的风险。提出从数据匿名化到差分隐私的多种解决方案,以在整个学习过程中有效地集成隐私保护机制。这项工作的关键发现是为构建更安全可信的人工智能系统提供了针对隐私保护方法的全面评估与未来发展方向的指导。
Aug, 2024
本研究针对资源受限环境中量子计算能力缺乏的客户端及分割学习中的数据隐私泄露问题,提出了一种新的混合量子分割学习方法(HQSL)。该方法通过引入新的数据加载技术和噪声防御机制,实现了经典客户端与混合量子服务器的协同训练,同时提升了分类性能和安全性。实验结果表明,HQSL在多个数据集上都显著提高了模型的准确性和F1分数,并确认了其在客户端扩展中的可行性。
Sep, 2024