Aug, 2023

QKSAN：一个量子核自注意力网络

PDF
TL;DR引入了量子核自注意机制 (QKSAM) 来增强量子机器学习模型在大规模高维量子数据上的效果，构建了基于 QKSAM 的量子核自注意网络 (QKSAN)，结合了量子核方法 (QKM) 的数据表示优势和自注意机制的高效信息提取能力，通过延迟测量原则和条件测量技术来释放计算过程中的量子资源，实现了四种 QKSAN 模型在 Pennylane 平台上对 MNIST 图像进行二分类，其中最好的模型具有较强的噪声容忍性和学习能力；该研究为未来量子计算机在大数据上进行机器学习提供了基础，并推动了量子自然语言处理等领域的进展。
self-attention mechanismquantum machine learningquantum kernel self-attention mechanismdeferred measurement principlequantum kernel self-attention network
发现论文，激发创造
  • 量子混合态自注意力网络

    本研究介绍了一种新颖的量子混合态注意力网络（QMSAN），将量子计算原理与经典机器学习算法，特别是自注意力网络相结合，以增强处理自然语言处理任务的效率和效果。实验证实 QMSAN 模型在文本分类方面优于现有的量子和经典模型，显著提高了性能，对低噪声具有良好的鲁棒性。

    Mar, 2024

  • QSAN: 一种近期可实现的量子自注意力网络

    本文提出了用近期的量子设备实现可行的量子自注意（QSAN）网络，并研究了其线性和可逆的量子自我注意机制，包括量子逻辑相似性，量子比特自我注意得分矩阵等，该方法能够解决自我注意机制由于二次复杂度导致的存储问题，并能够充分部署在量子计算机上，在自然梯度下降的方法下能够更快地进行训练，具有实现量子增强自然语言处理（NLP）的巨大潜力。

    Jul, 2022

  • 文本分类的量子自注意神经网络

    本文提出了一种名为 QSANN 的量子自我注意神经网络，它将自我注意机制引入到量子神经网络中，通过高斯投影解决了诸如大规模数据集和句法依赖性网络结构等限制；QSANN 在公共数据集的文本分类任务中表现优越，且具有鲁棒性和可扩展性。

    May, 2022

  • SASQuaTCh：一种带有基于核的自注意力的新型变分量子变换器架构的学习

    利用基于核操作学习的自我注意力机制的量子电路，我们提出了 Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh) 模型，该模型能够有效地表示视觉变换网络的深层特征，并展示其在简化分类问题上的实用性。

    Mar, 2024

  • GQHAN：一种受 Grover 启发的量子硬注意力网络

    提出了一种基于格罗弗启发的量子硬注意机制，利用灵活的预言机和自适应扩散算子来提高量子机器学习的性能和适用性，在 Fashion MNIST 二分类任务中展示了优于传统方法的准确性和学习能力。

    Jan, 2024

  • KANQAS: 量子体系结构搜索的 Kolmogorov Arnold 网络

    评估 KAN 在量子架构搜索问题中的实用性和效率，发现其在干扰场景中比多层感知器（MLPs）更有效地生成多量子位最大纠缠态并较好地逼近最大纠缠态，但需要更多的执行时间。

    Jun, 2024

  • 自监督量化感知知识蒸馏

    该论文提出了一种新颖的自监督量化感知知识蒸馏 (SQAKD) 框架，通过将量化感知训练与知识蒸馏相结合，同时最小化全精度模型与低比特模型之间的 KL-Loss 和量化的离散化误差，从而有效克服了现有方法需要繁琐的超参数调节、标签数据需求和复杂的训练过程的限制，并在各种模型结构上明显优于现有的量化感知训练和知识蒸馏方法。

    Mar, 2024

  • 卷积自注意力网络

    本篇论文介绍了一种新颖的卷积自注意力网络，通过引入多头注意力机制，加强了邻近元素之间的依赖关系，并能够对各个注意力头提取的特征之间的交互进行建模，用于机器翻译任务中能有效提高自注意力网络的本地性，实验证明该方法优于常用的 Transformer 模型和其他已有的模型，并且没有更多的额外参数。

    Apr, 2019

  • 基于核方法的监督量子机器学习模型

    用核方法重新描述监督式的量子模型，用支持向量机进行训练可以得到比变分电路训练更好或同等的结果。

    Jan, 2021

  • QUACK: 量子对齐质心核

    通过引入 QUACK 算法，我们提出了一个时间复杂度线性缩放的量子内核算法，能够在训练过程中表现与经典内核方法相似的性能，并且可以处理高维数据集。

    May, 2024