本研究探讨使用量子计算与预训练模型结合的经典 - 量子转移学习方法在自然语言处理上的效果，提出了一种基于复数 BERT 的句子状态预训练方法，并应用于经典 - 量子转移学习中进行句子分类，取得末端量子模型性能 50% 到 60% 的提升。

Feb, 2023

大规模多模式语言模型已在许多应用中证明具有变革性。然而，这些模型已被证明会记忆和泄漏预训练数据，引发用户隐私和信息安全方面的严重关切。我们介绍了 PrivQA - 一个多模式基准，用于评估在模拟场景中指示模型保护特定类别个人信息时，此隐私 / 效用权衡。我们还提出了一种通过迭代自我调节响应的技术，在很大程度上提高了隐私。通过一系列红队实验，我们发现对手可以通过简单的越狱方法绕过这些保护，使用文本和 / 或图像输入。我们相信 PrivQA 有潜力支持开发具有改进隐私保护和对抗鲁棒性的新模型。我们在指定的网址上发布了整个 PrivQA 数据集。

Oct, 2023

该研究提出了一种名为 QuMoS 的框架，该框架通过在多个云提供商之间分发 QML 模型而不是应用加密算法来保护模型安全，并且使用强化学习算法自动优化在分布式环境下的模型设计，从而在提供高安全性的同时实现高精度。

Apr, 2023

本研究在噪声中间规模量子（NISQ）设备上探索了使用量子自然语言处理算法进行语言翻译的可行性。我们采用香农熵来展示旋转门的适当角度在参数化量子电路性能中的重要作用，并利用这些角度（参数）作为不同语言的量子电路之间的通信方式，最终通过经典神经网络的编码器 - 解码器模型和长短期记忆（LSTM）的翻译任务实现了量子神经机器翻译，该翻译方法相对于经典方法具有潜在优势。在 160 个样本的实验中，我们使用了三种优化器训练模型，并通过使用 Adam 优化器训练具有两个 LSTM 层的最佳模型获得了最佳结果，其平均绝对误差为 0.03，均方误差为 0.002，损失为 0.016。我们的研究结果表明，尽管使用简单的同义句进行训练，但 Shannon 熵在处理复杂句子结构的更复杂机器翻译模型中具有一定的实用性。

Jul, 2023

本文提出了一种基于 Quantum Many-body 波函数（QMWF）的语言建模方法，可通过张量积模拟单词间的交互作用，并揭示了 QMWF 语言建模中使用卷积神经网络（CNN）的必要性，同时还提供了一个简单的文本 / 句子匹配算法。三个典型的问答（QA）数据集的系统性评估显示了所提出的 QMWF-LM 算法与最先进的受量子激励的 LMs 以及几种基于 CNN 的方法相比的有效性。

Aug, 2018

保证数据隐私在机器学习模型中至关重要，尤其是在分布式环境中，其中模型梯度通常在多个参与方之间共享，以实现协同学习。该研究揭示了基于量子机器学习模型的梯度中恢复输入数据的困难程度，并发现了动力学李代数在决定隐私漏洞方面的重要作用。研究结果显示，作为学习模型的变分量子电路的动力学李代数的某些特性可能导致隐私泄露，使得能够从输入数据的快照中训练用于不同学习任务的变分量子电路模型。此外，研究还探讨了从这些快照中恢复原始输入数据的条件，建立了与编码映射、动力学李代数基的重合度以及傅里叶频率特性等相关的条件，从而使得用于近似多项式时间恢复原始输入数据的经典或量子辅助方法成为可能。因此，该研究的发现对于指导设计平衡可训练性和强大隐私保护的量子机器学习模型的要求至关重要。

May, 2024

通过量化任务特定的嵌入空间，提出了一种名为 QE-CDLM 的新方法，以增强生成任务的可控性和稳定性，实现更好的收敛性和轻量级微调。在五项具有挑战性的细粒度控制任务上的实验结果表明，QE-CDLM 在质量和可行性方面优于现有方法，实现了更好的困惑度和轻量级微调。

Feb, 2024

本文调查了一系列流行模型中预训练表示所编码的个人信息的程度，并展示了模型越复杂和数据越多，可能出现数据泄露的正相关性。作者对一种大型多语言数据集上的情感分析特征进行了广泛覆盖的比较和评估，结果表明，隐私保护方法的使用非常重要。作者还发现高度隐私保护的技术（如差分隐私）可能会对模型效用产生严重影响，可以使用混合或度量隐私方法来解决。

Apr, 2022

本论文通过对 PTQ 技术在 11 个模型家族的综合评估，系统总结了量化对权重、激活函数和 KV Cache 的影响，提供了应用量化技术的建议，指出了未来的研究方向。

Feb, 2024

该论文研究了基于预训练语言模型的 NLP 任务中的预测流水线如何最小化校准误差，比较了不同选项的表现，并推荐使用 ELECTRA 作为 PLM 编码，尽可能使用更大的 PLM，使用温度调节作为不确定性度量，以及使用 Focal Loss 进行微调。

Oct, 2022