适配预训练语言模型用于量子自然语言处理
该研究展示了使用从大型语言模型中提取的嵌入向量进行量子迁移学习算法在经典语言学任务(可接受性判断)上进行分类的潜在优势,包括性能和表达能力,评估结果显示出与最先进的经典迁移学习算法相媲美的量子迁移学习流程,为当前量子计算机在自然语言处理任务中的能力提供了证明,并通过可解释的人工智能方法进行了定性的语言分析,揭示了量子迁移学习算法相较于经典算法在正确分类复杂和结构化句子方面的能力,为未来在自然语言处理中取得量子优势奠定了基础。
Jan, 2024
本研究在噪声中间规模量子(NISQ)设备上探索了使用量子自然语言处理算法进行语言翻译的可行性。我们采用香农熵来展示旋转门的适当角度在参数化量子电路性能中的重要作用,并利用这些角度(参数)作为不同语言的量子电路之间的通信方式,最终通过经典神经网络的编码器 - 解码器模型和长短期记忆(LSTM)的翻译任务实现了量子神经机器翻译,该翻译方法相对于经典方法具有潜在优势。在 160 个样本的实验中,我们使用了三种优化器训练模型,并通过使用 Adam 优化器训练具有两个 LSTM 层的最佳模型获得了最佳结果,其平均绝对误差为 0.03,均方误差为 0.002,损失为 0.016。我们的研究结果表明,尽管使用简单的同义句进行训练,但 Shannon 熵在处理复杂句子结构的更复杂机器翻译模型中具有一定的实用性。
Jul, 2023
本文为机器学习算法中广泛应用的迁移学习的概念扩展到了由经典和量子元素组成的混合神经网络的新兴领域,提出了不同实现混合迁移学习的方法,并重点关注了现代量子技术下,经典网络的预处理和优化加上量子算法处理的优秀组合,提供了图像识别和量子态分类等方面的几个案例,利用 PennyLane 软件库在 IBM 和 Rigetti 提供的两种不同的量子计算机上进行了测试。
Dec, 2019
本文介绍了使用嘈杂的中尺度量子设备进行自然语言处理(NLP)和过程生成的应用,探索设计用于句子生成的混合量子 - 经典算法,并提出实现及其在模拟和真实量子硬件上的成功应用,同时引入必要的 NLP 和量子计算背景知识。
Nov, 2022
提供近期量子自然语言处理的基本概念和数学基础,在量子计算机科学家友好的术语下详细介绍了最新领域的理论发展,并引用了支持实证证据和数学广义性的参考文献,在量子模型中结合了语言意义和语法,利用 Noisy Intermediate-Scale Quantum 范例为编码语言结构提供了方便,最终在 Diagrammatic Reasoning 框架下,实现了语言与量子计算机之间的相互转换。
Dec, 2020
本文提出了一种高度可移植的量子语言模型 (PQLM),它可以在经典计算机上向下游任务轻松传输信息,并演示了在经典计算机上将 PQLM 的词嵌入有效地应用于下游任务。该 PQLM 具有与其经典对应物相当的性能,并为量子预训练语言模型的理论基础奠定了基础。
Oct, 2022
研究人员使用 DisCoCat 模型设计了一种基于量子计算机实现的支持向量机(SVM)的量子内核函数,该函数可以用于 NLP 任务并使用两种相似性度量来训练单词嵌入,结果表明第二种方法的测试精度最高,并且经 SWAP 测试后具有鲁棒性,有助于进一步研究我们提出的基于内核的 QNLP 范式。
May, 2022
量子自然语言处理领域的现状和技术发展,介绍了量子设计在文本编码方面的新方法,并探讨了语言中的概念表达和场景幻觉问题与量子力学的关系。
Mar, 2024