本研究介绍了一种新颖的量子混合态注意力网络(QMSAN),将量子计算原理与经典机器学习算法,特别是自注意力网络相结合,以增强处理自然语言处理任务的效率和效果。实验证实 QMSAN 模型在文本分类方面优于现有的量子和经典模型,显著提高了性能,对低噪声具有良好的鲁棒性。
Mar, 2024
引入了量子核自注意机制 (QKSAM) 来增强量子机器学习模型在大规模高维量子数据上的效果,构建了基于 QKSAM 的量子核自注意网络 (QKSAN),结合了量子核方法 (QKM) 的数据表示优势和自注意机制的高效信息提取能力,通过延迟测量原则和条件测量技术来释放计算过程中的量子资源,实现了四种 QKSAN 模型在 Pennylane 平台上对 MNIST 图像进行二分类,其中最好的模型具有较强的噪声容忍性和学习能力;该研究为未来量子计算机在大数据上进行机器学习提供了基础,并推动了量子自然语言处理等领域的进展。
Aug, 2023
本文讨论利用 Grover 的搜索算法有效地计算稀疏注意力计算矩阵,并在经典方法上实现了多项式量子加速。我们的量子算法输出的注意力矩阵还具有额外的低秩结构,这将有助于获得更快的 LLM 训练算法。此外,我们还对算法的错误分析和时间复杂度进行了详细分析。
Jul, 2023
提出了一种混合量子 - 经典条件生成对抗网络算法(QCGAN),通过在生成器和判别器中输入人工条件信息实现了稳定的生成过程和人机交互计算模式,该算法在量子云计算平台上进行实验,结果表明它能够在训练后有效地收敛到纳什均衡点并进行面向人的分类生成任务。
Sep, 2023
本文提出了用近期的量子设备实现可行的量子自注意(QSAN)网络,并研究了其线性和可逆的量子自我注意机制,包括量子逻辑相似性,量子比特自我注意得分矩阵等,该方法能够解决自我注意机制由于二次复杂度导致的存储问题,并能够充分部署在量子计算机上,在自然梯度下降的方法下能够更快地进行训练,具有实现量子增强自然语言处理(NLP)的巨大潜力。
Jul, 2022
本文提出了一种名为 QSANN 的量子自我注意神经网络,它将自我注意机制引入到量子神经网络中,通过高斯投影解决了诸如大规模数据集和句法依赖性网络结构等限制;QSANN 在公共数据集的文本分类任务中表现优越,且具有鲁棒性和可扩展性。
May, 2022
通过嵌入技术添加冗余数据集,可以提高量子模拟器的模型容量,因此,我们的方法可以避免其每次迭代基于推断有效温度的需求,从而加快了学习速度,减轻了参数控制噪声的影响,使其能够验证使用量子计算实现生成模型的可行性,并为这些量子技术在与机器学习相关的任务上进行基准测试提供了适当的框架。
Sep, 2016
提出了一种用于改进生成对抗网络(GAN)的混合量子 - 经典架构(QC-GAN),通过与传统神经网络和量子变分电路的结合,实现了比经典 GAN 更好的性能,在迭代次数和训练参数方面也更加高效。该研究同时展示了将量子计算与机器学习相结合在量子 - 人工智能领域和人工智能 - 量子领域的价值。
Feb, 2024
本篇论文提出了两种新的图形卷积神经网络中的图形注意力算子,hGAO 和 cGAO,它们分别使用了硬注意力机制和沿通道执行的注意力操作,以提高计算性能和准确性,并在节点和图嵌入任务上取得了显著的改进。
Jul, 2019
HOGA 是一种基于注意力机制的模型,能够在大规模、复杂电路问题中可扩展且具有泛化性,通过预先计算节点的逐跳特征并使用门控自注意力模块生成节点表示,自适应地学习不同跳之间的重要特征,因而适应不同电路结构,可在分布式环境下高效训练。在实验证明,与常规图神经网络相比,HOGA 在逻辑综合后的结果质量预测方面减少了 46.76% 的估计误差,在复杂技术映射后的看不见门级网络列表上识别功能块方面,HOGA 的推理准确率提高了 10%,而 HOGA 的训练时间几乎与计算资源的增加成线性关系。