QSAN: 一种近期可实现的量子自注意力网络
引入了量子核自注意机制 (QKSAM) 来增强量子机器学习模型在大规模高维量子数据上的效果,构建了基于 QKSAM 的量子核自注意网络 (QKSAN),结合了量子核方法 (QKM) 的数据表示优势和自注意机制的高效信息提取能力,通过延迟测量原则和条件测量技术来释放计算过程中的量子资源,实现了四种 QKSAN 模型在 Pennylane 平台上对 MNIST 图像进行二分类,其中最好的模型具有较强的噪声容忍性和学习能力;该研究为未来量子计算机在大数据上进行机器学习提供了基础,并推动了量子自然语言处理等领域的进展。
Aug, 2023
本研究介绍了一种新颖的量子混合态注意力网络(QMSAN),将量子计算原理与经典机器学习算法,特别是自注意力网络相结合,以增强处理自然语言处理任务的效率和效果。实验证实 QMSAN 模型在文本分类方面优于现有的量子和经典模型,显著提高了性能,对低噪声具有良好的鲁棒性。
Mar, 2024
本文提出了一种名为 QSANN 的量子自我注意神经网络,它将自我注意机制引入到量子神经网络中,通过高斯投影解决了诸如大规模数据集和句法依赖性网络结构等限制;QSANN 在公共数据集的文本分类任务中表现优越,且具有鲁棒性和可扩展性。
May, 2022
本篇论文介绍了一种新颖的卷积自注意力网络,通过引入多头注意力机制,加强了邻近元素之间的依赖关系,并能够对各个注意力头提取的特征之间的交互进行建模,用于机器翻译任务中能有效提高自注意力网络的本地性,实验证明该方法优于常用的 Transformer 模型和其他已有的模型,并且没有更多的额外参数。
Apr, 2019
提出了一种基于格罗弗启发的量子硬注意机制,利用灵活的预言机和自适应扩散算子来提高量子机器学习的性能和适用性,在 Fashion MNIST 二分类任务中展示了优于传统方法的准确性和学习能力。
Jan, 2024
本文提出了堆叠式注意力网络(SAN),通过自然语言问题分析图像,发现图像问答需要多层推理,于是我们开发了多层 SAN,通过可视化的注意力层,逐层推理以定位答案相关的视觉线索,实验证明 SAN 明显优于先前的最先进方法。
Nov, 2015
利用基于核操作学习的自我注意力机制的量子电路,我们提出了 Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh) 模型,该模型能够有效地表示视觉变换网络的深层特征,并展示其在简化分类问题上的实用性。
Mar, 2024
介绍了一种名为广义单纯姿态注意力神经网络(GSANs)的新型神经架构,用于处理在单纯复合体上定义的数据,通过掩码自注意力层。利用拓扑信号处理原理,设计了一系列自注意机制,能够处理在不同单纯阶数上定义的数据组件,如节点、边、三角形等。证明了 GSANs 具有置换等变性和单纯意识。在几个任务(归纳和传导)中应用到轨迹预测、缺失数据补全、图分类和单纯预测中,与其他方法相比取得了有利的效果。
Sep, 2023
评估 KAN 在量子架构搜索问题中的实用性和效率,发现其在干扰场景中比多层感知器(MLPs)更有效地生成多量子位最大纠缠态并较好地逼近最大纠缠态,但需要更多的执行时间。
Jun, 2024
本文介绍了一种名为 SANVis 的可视化分析系统,旨在帮助用户理解多头自我注意力网络的行为和特征,其中通过 Transformer 模型的使用展示了 SANVis 在机器翻译任务中的使用场景。
Sep, 2019