Aug, 2020

量子神经网络的高阶导数与贫瘠高原现象

PDF
TL;DR本研究探讨了量子神经网络中的 Barren Plateau 现象，研究发现高阶导数信息无法解决 Barren Plateau 的指数级灭减问题，因此超越（一阶）梯度下降的优化策略仍会受到 Barren Plateau 的影响。同时，我们证明了新颖的通用公式，可用于在量子硬件上分析求解任何高阶偏导数，这些公式可能有独立的兴趣和用途，可用于量子神经网络的训练（除了 Barren Plateau 的情境）。
quantum neural networksbarren plateau phenomenonhigh-order derivativeshessian-based approachesoptimization strategies
发现论文，激发创造
  • 量子卷积神经网络中不存在贫瘠高原

    本文描述了基于量子卷积神经网络的梯度值，分析了 QCNNs 的梯度缩放，发现 QCNNs 不会产生荒原平原。我们介绍了一种基于图形的方法，分析哈尔分布的酉矩阵的期望值，最后通过数值模拟验证了我们的分析结果。

    Nov, 2020

  • 变分量子计算中贫瘠高原的综述

    变分量子计算通过在不同领域中应用提供了一种灵活的计算模式。然而，实现其潜力的一个关键障碍是荒漠高原现象。本文提供了对荒漠高原现象的当前理解的全面回顾。

    May, 2024

  • 纠缠引发的无效平台

    量子神经网络中过量的量子纠缠会妨碍学习，且通常存在着由纠缠引起的优化荒原；预训练这些生成模型可能会提供一种规避荒原的方法。

    Oct, 2020

  • 量子神经网络训练景观中的贫瘠高原

    本文研究了嘈杂中等规模量子设备的参数化量子电路的梯度估计和优化问题。作者指出，由于希尔伯特空间的指数维度和梯度估计复杂度，随机电路不适用于超过少量量子比特的混合量子 - 经典算法。

    Mar, 2018

  • 利用经典深度神经网络克服荒原高原问题

    本文提出了一种使用经典神经网络来生成量子电路参数的方法，以缓解 Barren Plateaus 现象，该方法不仅能够在初始阶段减轻 Barren Plateaus 的影响，还能够在 VQA 训练期间减轻该影响，并展示了该方法在不同 CNN 架构下的表现。

    May, 2022

  • 超越贫瘠高原：量子变分算法被陷阱所淹没

    通过研究局部极小值和 Barren 高原现象，证明在全局最小能量附近未知最优参数的情况下，一类浅而无 barren 高原的变分量子模型具有很少的局部极小值，以至于在没有好的初值参数的情况下无法进行训练。此外，通过统计查询框架研究变分量子算法的可训练性，并表明大多数量子模型的噪声优化都需要指数级的查询数，虽然有希望通过研究某些类别的变分算法来解决这个问题。

    May, 2022

  • 变分量子算法中的噪声诱导荒原

    研究了噪声 Noisy Intermediate-Scale Quantum 计算机上的变分量子算法，证明了存在噪声引起的 “荒漠高原” 现象，表明这些噪声对算法的性能有严重的限制。

    Jul, 2020

  • PyHessian：基于 Hessian 的神经网络

    我们提出了 PYHESSIAN 框架，它可以快速计算深度神经网络的 Hessian 信息，支持分布式计算，并且可以用于分析神经网络模型，特别是损失函数曲率（即损失函数的拓扑），以便更好的理解不同模型和优化器的行为表现。通过对残差连接和 BN 层的分析，我们发现传统的方法不一定正确，BN 层不一定会使得损失函数曲率更加平滑，特别是在较浅的神经网络中。

    Dec, 2019

  • 利用梯度和海森矩阵在贝叶斯优化和贝叶斯积分中的应用

    本文探讨了机器学习中一种使用高斯过程对困难或昂贵评价的未知函数进行优化和集成的贝叶斯方法，并将其扩展以利用来自未知函数的导数信息，通过采样推断来融合超参数的不确定性，并且介绍了克服之前梯度增强高斯过程的 singularity 问题的技术。结果表明，利用导数信息可以在贝叶斯优化和数值积分问题中提供显着的优化性能。

    Mar, 2017

  • 用量子优化控制工具诊断贫瘠高原

    本文研究了通过量子优化控制诊断基于问题的变分量子算法的荒原高原现象，证明了微调度系的可控性对 VQA 的梯度缩放具有影响，并建立了荒原高原与 Lie 代数维度缩放之间的联系。

    May, 2021