Apr, 2024

高效的机器学习激活函数的量子电路，包括常数 T 深度 ReLU

PDF
TL;DR我们的研究主要关注于为容错量子计算架构开发激活函数的量子电路，重点在于最小化 $T$-depth。我们提出了 ReLU 和 leaky ReLU 激活函数的新实现，分别实现了恒定的 4 和 8 的 $T$-depth。借助量子查找表，我们还延伸研究到其他激活函数，如 sigmoid。通过调整量子比特的数量，我们能够定制精度和 $T$-depth，使得我们的研究结果在各种应用场景中更具适应性。这项研究对于提升量子机器学习的实用性和应用具有重要意义。
发现论文，激发创造
  • 用于量子神经网络的量子激活函数

    利用量子计算机实现任意解析激活函数的量子算法填补了量子感知机领域的空白，使得任何前馈神经网络都能获得 Hornik 定理的通用逼近性质，从而使得机器学习、模式识别和聚类等问题更易于解决。

    Jan, 2022

  • 神经网络激活函数电路的设计空间探索

    本研究探讨了利用组合电路高效实现非线性激活函数（如 SELU 和 tanh）的方法，在 MNIST、CIFAR-10 和 IMAGENET 基准测试中表现出很高的效率和精度，相比于 LUT / 存储器实现可以节省 3.13-7.69 和 4.45-8:45 的面积，能够分别在 5.14GHz 和 4.52GHz 的时钟频率下运行。

    Sep, 2018

  • 深度强化学习的量子电路优化

    本研究使用基于强化学习的方法对量子电路进行优化，通过深度卷积神经网络，实现了对于特定架构的任意量子电路的自主学习及优化。对 12 比特电路进行实验得出优化效果，平均深度降低 27％，门数降低 15％，并探讨了方法在近期量子设备上的可行性。

    Mar, 2021

  • 数据常有短路径加载：金融、图像、流体和蛋白质的量子电路张量网络

    我们提出了一种基于张量网络理论的电路编译方法（AMLET），通过精确构建特定的张量网络拓扑，可解决将任意经典向量加载到量子计算机所需的指数级电路深度问题。并通过对金融、图像、流体力学和蛋白质等领域的实际经典数据进行数值实验，证明相比指数级扩展的通用加载算法，所需电路深度通常要低几个数量级，进而为在量子计算机上加速经典工作负载带来积极影响。

    Sep, 2023

  • 量子电路学习

    本研究提出了一种基于经典 - 量子混合算法的量子机器学习算法，将低深度的量子电路与经典计算机混合使用，实现了优化参数的迭代优化，从而实现了学习任务的同时避免高深度量子电路，并通过理论分析和数字模拟确认了量子电路可以逼近非线性函数，为实现近期量子设备开展量子机器学习应用奠定了基础。

    Mar, 2018

  • 深度学习结构中的量子纠缠

    本文研究表明现代深度学习架构 —— 深度卷积和递归网络能够有效地表示高度纠缠的量子系统，与基于张量网络的表示方法相比，这是因为网络操作中信息的固有重用是它们区别于标准张量网络表示的关键特征，并提高了它们的纠缠容量。

    Mar, 2018

  • 使用张量网络实现量子机器学习

    本文提出一种基于张量网络的量子计算方法，用于解决当前在量子计算中机器学习所面临的挑战。在此方法下，经典计算和量子计算可共享同样的理论和算法基础，且张量网络电路在量子计算机模型的训练中具有高效节省的优势，并通过对手写识别模型的数值实验验证了其可行性。

    Mar, 2018

  • 利用四元数激活函数改进四元数神经网络

    我们提出了新颖的四元数激活函数，其中修改了四元数的幅度或相位，作为常用分裂激活函数的替代。我们定义了四元数激活函数相关的准则，并基于该分析提出了我们的新颖激活函数。这些激活函数考虑了四元数的特性和四元数空间 H，通过利用所有四元数的分量计算所有输出分量，从而获得了四元数卷积中的 Hamilton 乘积的优势。我们进一步讨论了所提出的激活函数的导数，发现相位影响的激活函数具有有益的属性。我们对提出的四元数激活函数进行了详细的实验评估，并与基于分裂 ReLU 和分裂双曲正切的方法在 CIFAR-10 和 SVHN 数据集上进行了比较。在其中，尤其是影响相位的四元数激活函数始终提供更好的性能。

    Jun, 2024

  • 潜在辅助网络：在强化学习中重新发现双曲正切函数

    通过研究激活函数对死神经元和有效秩大小的影响，本文提出了一个新的神经网络结构，并展示了在 Atari 领域中学习速度更快、死神经元减少和有效秩增加的结果。

    Jun, 2024

  • AlphaTensor 与量子电路优化

    量子电路中 T 门计数的最小化是实现容错量子计算的关键挑战之一，本文提出了一种基于深度强化学习的方法 AlphaTensor-Quantum，利用张量分解与 T 门优化之间的关系，通过引入量子计算的领域专业知识和利用 gadgets，显著降低了优化电路的 T 门计数，从而在算术基准测试中超越了现有的 T 门计数优化方法，同时还发现了一种类似于 Karatsuba 算法的高效乘法算法，并成功优化了 Shor 算法中的相关算术计算和量子化学模拟，实现了在完全自动化的方式下，优化相关量子电路，节省了数百小时的研究时间。

    Feb, 2024