Feb, 2024

基于 Transformer 的高维数据量子嵌入

PDF
TL;DR量子嵌入式与变压器是一种新颖且有前景的架构，用于实现在近期设备或模拟器上提供异常能力的量子机器学习。该研究在 BirdCLEF-2021（一个具有挑战性的高维度数据集）上，通过结合视觉变压器（ViT）显著提升了量子嵌入能力，并使得单比特分类器的中值 F1 得分提高了约 3％。该研究展示并分析了实证证据，证明我们基于变压器的架构对于现代量子机器学习问题是一种高度灵活和实用的方法。
quantum embeddingtransformersquantum machine learningvision transformerf1 score
发现论文，激发创造
  • 机器学习的量子嵌入

    该论文提出了一种称为量子度量学习的新策略，通过训练可训练的量子电路的第一部分来实现数据类最大分离的嵌入，从而消除了当前模型中的一个主要部分。

    Jan, 2020

  • 高维数据分类中的混合量子神经网络

    该研究探索了量子深度学习模型在解决传统深度学习模型难以处理的具有挑战性的机器学习问题方面的潜力。我们介绍了一种新型模型架构，将经典卷积层与量子神经网络相结合，旨在超越现有最先进的准确性，同时保持紧凑的模型尺寸。该实验对来自 Bird-CLEF 2021 数据集的高维音频数据进行分类，我们的评估重点关注训练持续时间、模型准确性和总模型尺寸等关键指标。这项研究证明了量子机器学习在增强机器学习任务和解决当今实际机器学习挑战方面的潜力。

    Dec, 2023

  • 高能物理领域的混合量子视觉变形器用于事件分类

    基于视觉变换器架构的模型在图像分类任务中被认为是最先进的。本文构建了几种量子混合视觉变换器的变体，用于高能物理中的分类问题，并将它们与经典视觉变换器架构进行了测试。我们的研究结果表明，在参数数量相似的情况下，混合模型可以达到与经典模型类似的性能。

    Feb, 2024

  • 量子视觉变压器用于夸克胶子分类

    提出了一种混合量子 - 经典视觉转换器架构，其特点是在注意机制和多层感知机中集成了变分量子电路。该研究解决了计算效率和资源限制在分析未来的高亮度大型强子对撞机数据方面的重要挑战，提出了该架构作为潜在解决方案。通过将该模型应用于 CMS 开放数据的多探测器喷注图像，我们评估了该方法的性能，旨在区分强子引发的喷注和胶子引发的喷注。我们成功训练了量子模型，并通过数值模拟对其进行了评估。使用这种方法，在考虑类似数量的参数的情况下，我们实现了与完全经典架构几乎相媲美的分类性能。

    May, 2024

  • Transformer 架构所需的量子线性代数

    生成式机器学习方法如大型语言模型正在革新文本和图像的创作。本研究通过容错性量子计算的视角来调查变压器架构。通过将预训练的权重矩阵作为区块编码来构建变压器的查询、关键和值矩阵。我们展示了如何使用 Hadamard 乘积对自注意矩阵的行逐行应用 softmax 函数来准备区块编码。此外，我们结合了量子子程序来构建变压器中的重要构件，包括残余连接、层归一化和前馈神经网络。我们的子程序准备了变压器输出的振幅编码，可以进行测量以获得预测结果。我们讨论了获取量子优势的潜力和挑战。

    Feb, 2024

  • 量子数据编码：经典到量子映射技术的比较分析及其对机器学习准确性的影响

    该研究探索了将量子数据嵌入技术与经典机器学习算法相结合，旨在评估在各种模型上的性能增强和计算效果。我们探索了多种经典到量子的映射方法，包括基编码、角度编码和幅度编码，通过对包括逻辑回归、K 近邻、支持向量机以及随机森林、LightGBM、AdaBoost 和 CatBoost 在内的流行机器学习算法进行广泛的实证研究，发现量子数据嵌入有助于改善分类准确性和 F1 分数，尤其在与增强特征表示有关的模型中表现突出。我们观察到运行时间方面存在微妙的影响，低复杂度模型展示了适度的增加，而计算复杂度更高的模型则经历了明显的变化。值得注意的是，集成方法在性能提升和计算开销之间表现出有利的平衡。该研究强调了量子数据嵌入在增强经典机器学习模型方面的潜力，并强调了在性能改进与计算成本之间权衡的重要性。未来的研究方向可能涉及优化计算效率的量子编码过程以及在实际应用中的可扩展性。我们的工作为量子计算和经典机器学习交叉领域的不断增长的知识贡献了见解，为寻求利用量子启发技术的研究人员和实践者提供了洞察。

    Nov, 2023

  • Banach-Tarski 嵌入与变换器

    我们介绍了一种将任意递归数据结构嵌入到高维向量中的新构建方法，这些嵌入为变压器的潜在状态向量提供了可解释的模型。我们展示了当嵌入维度足够大时，这些嵌入可以解码为原始数据结构。这个解码算法在变压器中有一个自然的实现。我们还展示了这些嵌入向量可以直接操作底层数据执行计算而无需解码。例如，我们提出了一个算法，仅使用嵌入空间的向量操作构造嵌入的标记序列的嵌入句法树。

    Nov, 2023

  • 图像质量评估的 Transformer

    本研究探究 Transformer 在图像质量评估（TRIQ）中的应用，通过在卷积神经网络（CNN）提取的特征图上使用浅层 Transformer 编码器，采用自适应位置嵌入来处理任意分辨率的图像，通过在公共图像质量数据库上研究 Transformer 不同设置来证明所提出的 TRIQ 架构具有出色的性能。

    Dec, 2020

  • 理解和克服高效 Transformer 量化的挑战

    本文探讨了 Transformer 模型的量化问题，并给出了三种解决方法，其中一种基于 embedding group 的量化方法建立了新的量化模型，该方法可降低模型内存占用且保证了一定的精度。通过在 GLUE 基准测试中使用 BERT，我们准确评估了这些方法的有效性，并提出了一种新的超低比特宽度的 transformer 权重和 embedding 的量化方法，以实现更大的内存节省。

    Sep, 2021

  • 数据嵌入在等变量量子卷积神经网络中的作用

    对使用数据集的对称性来约束神经网络的参数空间以提高其可训练性和泛化能力的几何深度学习方法在量子机器学习领域得到了应用，其中包括了等变量量子神经网络 (EQNNs)。本研究探讨了经典到量子嵌入对等变量量子卷积神经网络（EQCNNs）图像分类性能的影响，分析了数据嵌入方法与对称群表示的关联，以及不同表示对 EQCNN 表达能力的影响。我们数值比较了基于三种不同基佯波函数嵌入的 EQCNN 与非等变量量子卷积神经网络（QCNN）的分类准确性。结果显示，在训练迭代次数较少时，所有的 EQCNN 都比非等变量 QCNN 具有更高的分类准确性，而在迭代次数较多时，这种改进明显依赖于所使用的嵌入方法。预计本研究的结果对于几何量子机器学习中数据嵌入选择的重要性有着更好的了解，对学术界具有实用意义。

    Dec, 2023