Mar, 2024

SASQuaTCh：一种带有基于核的自注意力的新型变分量子变换器架构的学习

PDF
TL;DR利用基于核操作学习的自我注意力机制的量子电路，我们提出了 Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh) 模型，该模型能够有效地表示视觉变换网络的深层特征，并展示其在简化分类问题上的实用性。
transformer networkself-attention mechanismfourier transformquantum circuitsvariational quantum circuit
发现论文，激发创造
  • 可训练前馈核线性自注意力近似

    本文旨在将可训练的核方法的思想扩展到逼近 Transformer 架构的自注意机制，以实现更快的计算和更高的准确率。

    Nov, 2022

  • 基于注意力机制的 Transformer 网络用于量子态重构

    通过利用 Transformer 模型来捕捉不同测量结果之间的相关性，本研究提出了一种基于注意力机制的量子状态重构方法，能够高效地恢复纯态和混合态的密度矩阵。

    May, 2023

  • 文本分类的量子自注意神经网络

    本文提出了一种名为 QSANN 的量子自我注意神经网络，它将自我注意机制引入到量子神经网络中，通过高斯投影解决了诸如大规模数据集和句法依赖性网络结构等限制；QSANN 在公共数据集的文本分类任务中表现优越，且具有鲁棒性和可扩展性。

    May, 2022

  • Transformer 架构所需的量子线性代数

    生成式机器学习方法如大型语言模型正在革新文本和图像的创作。本研究通过容错性量子计算的视角来调查变压器架构。通过将预训练的权重矩阵作为区块编码来构建变压器的查询、关键和值矩阵。我们展示了如何使用 Hadamard 乘积对自注意矩阵的行逐行应用 softmax 函数来准备区块编码。此外，我们结合了量子子程序来构建变压器中的重要构件，包括残余连接、层归一化和前馈神经网络。我们的子程序准备了变压器输出的振幅编码，可以进行测量以获得预测结果。我们讨论了获取量子优势的潜力和挑战。

    Feb, 2024

  • 用于高效本地注意力的学习查询

    本文提出了一种名为 query and attend（QnA）的新型 shift-invariant local attention 层，将其并入分层视觉 transformer 模型，并证明其在速度和内存复杂度方面的改善，同时又能实现与最先进的模型相当的准确度。

    Dec, 2021

  • 选择变换方法：傅里叶或伽辽金

    本文介绍了一种基于 Transformers 的 Galarkin 变换学习器，能够在解决偏微分方程方面，显著提高训练成本和评估准确性。

    May, 2021

  • 经典和量子序列模型概述

    我们通过对各种经典和量子神经网络顺序模型进行简要调查，重点关注近期提出的用于近期量子设备的量子方法，同时探索了这些量子模型的一些基本增强。我们通过将量子自注意力应用于文本和图像分类的量子混合变压器的图像分类方法对这些现有方法进行重新实现，还将量子自注意力和量子递归神经网络应用于自然语言处理任务。我们还探索了不同的编码技术，并将位置编码引入量子自注意力神经网络，从而在文本和图像分类实验中提高准确性和更快收敛。本文还对经典的自注意力模型及其量子对应模型进行了比较分析，有助于揭示这些模型及其性能之间的差异。

    Dec, 2023

  • 量子视觉变压器用于夸克胶子分类

    提出了一种混合量子 - 经典视觉转换器架构，其特点是在注意机制和多层感知机中集成了变分量子电路。该研究解决了计算效率和资源限制在分析未来的高亮度大型强子对撞机数据方面的重要挑战，提出了该架构作为潜在解决方案。通过将该模型应用于 CMS 开放数据的多探测器喷注图像，我们评估了该方法的性能，旨在区分强子引发的喷注和胶子引发的喷注。我们成功训练了量子模型，并通过数值模拟对其进行了评估。使用这种方法，在考虑类似数量的参数的情况下，我们实现了与完全经典架构几乎相媲美的分类性能。

    May, 2024

  • 表面视觉转换器：应用于皮质分析的基于注意力的建模

    研究使用 attention 模型建立一个面向域无关的架构，可用于任何表面数据在球状流形上的研究，被证实在皮层表面度量的表型回归任务中优于表面卷积神经网络，而在注册和未注册数据上表现相当。

    Mar, 2022

  • 基于量子神经切向核的表示学习

    本研究通过分析神经切向核理论，定义了量子神经切向核，推导出其与损失函数之间的动力学方程，探讨了基于变分量子电路的量子机器学习和优化问题的培训动态的分析结果和数值模拟实验的支持结果。

    Nov, 2021