May, 2024

量子视觉变压器用于夸克胶子分类

PDF
TL;DR提出了一种混合量子 - 经典视觉转换器架构，其特点是在注意机制和多层感知机中集成了变分量子电路。该研究解决了计算效率和资源限制在分析未来的高亮度大型强子对撞机数据方面的重要挑战，提出了该架构作为潜在解决方案。通过将该模型应用于 CMS 开放数据的多探测器喷注图像，我们评估了该方法的性能，旨在区分强子引发的喷注和胶子引发的喷注。我们成功训练了量子模型，并通过数值模拟对其进行了评估。使用这种方法，在考虑类似数量的参数的情况下，我们实现了与完全经典架构几乎相媲美的分类性能。
hybrid quantum-classical vision transformervariational quantum circuitscomputational efficiencyresource constraintsquark-initiated and gluon-initiated jets
发现论文，激发创造
  • 高能物理领域的混合量子视觉变形器用于事件分类

    基于视觉变换器架构的模型在图像分类任务中被认为是最先进的。本文构建了几种量子混合视觉变换器的变体，用于高能物理中的分类问题，并将它们与经典视觉变换器架构进行了测试。我们的研究结果表明，在参数数量相似的情况下，混合模型可以达到与经典模型类似的性能。

    Feb, 2024

  • 基于 Transformer 的高维数据量子嵌入

    量子嵌入式与变压器是一种新颖且有前景的架构，用于实现在近期设备或模拟器上提供异常能力的量子机器学习。该研究在 BirdCLEF-2021（一个具有挑战性的高维度数据集）上，通过结合视觉变压器（ViT）显著提升了量子嵌入能力，并使得单比特分类器的中值 F1 得分提高了约 3％。该研究展示并分析了实证证据，证明我们基于变压器的架构对于现代量子机器学习问题是一种高度灵活和实用的方法。

    Feb, 2024

  • Transformer 架构所需的量子线性代数

    生成式机器学习方法如大型语言模型正在革新文本和图像的创作。本研究通过容错性量子计算的视角来调查变压器架构。通过将预训练的权重矩阵作为区块编码来构建变压器的查询、关键和值矩阵。我们展示了如何使用 Hadamard 乘积对自注意矩阵的行逐行应用 softmax 函数来准备区块编码。此外，我们结合了量子子程序来构建变压器中的重要构件，包括残余连接、层归一化和前馈神经网络。我们的子程序准备了变压器输出的振幅编码，可以进行测量以获得预测结果。我们讨论了获取量子优势的潜力和挑战。

    Feb, 2024

  • QClusformer：基于量子变压器的无监督视觉聚类框架

    利用量子计算机的先进性能，在非监督视觉聚类任务中设计了一种基于 Transformer 架构的 QClusformer 框架，并通过实证评估证明其在 MS-Celeb-1M 和 DeepFashion 等数据集上相较于其他方法表现更出色。

    May, 2024

  • 高维数据分类中的混合量子神经网络

    该研究探索了量子深度学习模型在解决传统深度学习模型难以处理的具有挑战性的机器学习问题方面的潜力。我们介绍了一种新型模型架构，将经典卷积层与量子神经网络相结合，旨在超越现有最先进的准确性，同时保持紧凑的模型尺寸。该实验对来自 Bird-CLEF 2021 数据集的高维音频数据进行分类，我们的评估重点关注训练持续时间、模型准确性和总模型尺寸等关键指标。这项研究证明了量子机器学习在增强机器学习任务和解决当今实际机器学习挑战方面的潜力。

    Dec, 2023

  • 量子机器学习用于图像分类

    本研究提出了两种混合量子 - 经典模型：具有平行量子层的神经网络和具有量子卷积层的神经网络，它们解决了图像分类问题。其中我们提出的混合量子方法在 MNIST 数据集上展现了超过 99% 的准确率。这表明将量子效应应用于传统经典模型可以进一步提高图像识别和分类的能力，并为医疗保健、安全和市场营销等各个领域提供有前途的方法。

    Apr, 2023

  • 基于变分量子算法的一种新框架：图像分类的革命性突破

    使用变分量子算法构建的图像分类框架在消除全局汇聚操作的需求的基础上，通过有效地捕捉图像中更有区分度的特征和细节，提高了分类性能，并且相比于经典框架具有更少的参数，更有效地防止过拟合。

    Dec, 2023

  • 量子与经典贡献在混合量子机器学习架构中的分解

    通过使用压缩数据和自动编码器结合量子组件，我们的研究表明在混合迁移学习中，经典组件显著影响分类结果，而这一贡献常常被错误地归因于量子元素。我们的模型表现与使用幅度嵌入的变分量子电路相一致，将其定位为一种可行的替代方案。

    Nov, 2023

  • 视觉 Transformer 的后训练量化

    本文介绍了一种有效的后训练量化算法，以降低视觉变换器的内存存储和计算成本，并在多个基准模型和数据集上证明了所提出的方法的有效性，在 ImageNet 数据集上使用 DeiT-B 模型可获得约 8 位量化的 81.29％ top-1 精度。

    Jun, 2021

  • 激活器：GLU 激活作为视觉转换器的核心功能

    该研究探讨了利用门控线性单元激活的多层感知器架构替代传统 Transformer 架构中通常采用的注意力机制，以及进一步减少计算成本的方法，实验结果表明这些修改和减少都能在设计 Transformer 架构的核心组件中提供具有竞争力的性能。

    May, 2024