经典和量子机器学习的桥梁：通过知识蒸馏从经典到量子神经网络的知识转移

Nov, 2023

经典和量子机器学习的桥梁：通过知识蒸馏从经典到量子神经网络的知识转移

Bridging Classical and Quantum Machine Learning: Knowledge Transfer From Classical to Quantum Neural Networks Using Knowledge Distillation

PDF

Mohammad Junayed Hasan, M.R.C.Mahdy

TL;DR该论文介绍了一种新的方法，通过知识蒸馏从经典神经网络向量子神经网络传递知识，有效地弥合了经典机器学习和新兴量子计算技术之间的鸿沟，为量子机器学习的未来研究铺平了道路。

Abstract

Very recently, studies have shown that quantum neural networks surpass classical neural networks in tasks like image classification when a similar number of learnable parameters are used. However, the development and optimization of quantum models are currently hindered by issues such

quantum neural networks hybrid classical-quantum integration transfer learning knowledge distillation quantum machine learning

发现论文，激发创造

混合经典 - 量子神经网络中的迁移学习

本文为机器学习算法中广泛应用的迁移学习的概念扩展到了由经典和量子元素组成的混合神经网络的新兴领域，提出了不同实现混合迁移学习的方法，并重点关注了现代量子技术下，经典网络的预处理和优化加上量子算法处理的优秀组合，提供了图像识别和量子态分类等方面的几个案例，利用 PennyLane 软件库在 IBM 和 Rigetti 提供的两种不同的量子计算机上进行了测试。

Dec, 2019

量子机器学习用于图像分类

本研究提出了两种混合量子 - 经典模型：具有平行量子层的神经网络和具有量子卷积层的神经网络，它们解决了图像分类问题。其中我们提出的混合量子方法在 MNIST 数据集上展现了超过 99% 的准确率。这表明将量子效应应用于传统经典模型可以进一步提高图像识别和分类的能力，并为医疗保健、安全和市场营销等各个领域提供有前途的方法。

Apr, 2023

知识蒸馏对迁移学习的影响

在本研究中，我们提出了一种将知识蒸馏应用于迁移学习的机器学习架构，称为 TL + KD，并对它与传统 TL 的图像分类效果进行了量化和定性比较。结果表明，在微调过程中，使用较大的教师网络提供指导和知识可以改善学生网络以实现更好的验证性能，同时研究了不同场景下的性能表现。

Oct, 2022

量子与经典神经网络模型在图像分类任务中的比较

研究了用于手写数字 MNIST 数据集分类问题的混合量子 - 经典神经网络的性能，结果表明虽然模拟时间较长，但是该模型优于传统网络，达到更好的收敛性和高的训练和测试精度。

Aug, 2021

QUEST: 量化嵌入空间用于知识转移

本文提出一种通过量化空间来传输知识、学习教师网络中的主视觉概念的知识蒸馏方法，通过对多种网络结构和常用基准数据集的广泛评估，证明了该方法优于现有的知识蒸馏方法。

Dec, 2019

变分信息蒸馏用于知识迁移

本论文提出了一种信息理论框架用于知识转移，将知识转移视为最大化教师和学生网络之间的互信息，将该方法应用于不同架构的网络间的知识转移，证明了其性能远超现有方法。

Apr, 2019

量子数据联邦学习

本论文提出了第一个完全量子联邦学习框架，该框架可以在量子数据上运行并以分散的方式共享量子电路参数的学习。论文首先生成了第一个分层数据格式的量子联邦数据集，然后将其提供给使用 QCNN 模型的客户端执行分类任务，并对提出的 QFL 解决方案进行广泛的实验以评估和验证其有效性。

May, 2021

QKD：量化知识蒸馏

本文提出了一种量化感知知识蒸馏的方法，并通过三个阶段的教学来协调量化和 KD，从而在 ImageNet 和 CIFAR-10 / 100 数据集上提高了模型的性能。

Nov, 2019

量子迁移学习的可接受性判断

该研究展示了使用从大型语言模型中提取的嵌入向量进行量子迁移学习算法在经典语言学任务（可接受性判断）上进行分类的潜在优势，包括性能和表达能力，评估结果显示出与最先进的经典迁移学习算法相媲美的量子迁移学习流程，为当前量子计算机在自然语言处理任务中的能力提供了证明，并通过可解释的人工智能方法进行了定性的语言分析，揭示了量子迁移学习算法相较于经典算法在正确分类复杂和结构化句子方面的能力，为未来在自然语言处理中取得量子优势奠定了基础。

Jan, 2024

交互层的量子卷积神经网络用于经典数据的分类

该研究介绍了一种使用三量子比特相互作用增加网络表达能力和纠缠能力的量子卷积网络，通过对 MNIST、Fashion MNIST 和 Iris 数据集进行二分类和多分类，发现其性能超越了现有的最先进方法。

Jul, 2023