Nov, 2023

量子神经切向核的表达能力诱导的浓缩

PDF
TL;DR量子切线核方法在无限宽度限制下分析量子机器学习模型表现的效率，对某些学习任务设计适当的电路架构至关重要。研究了量子切线核模型的可训练性和表达能力之间的联系。特别是对于全局损失函数，严密证明了全局和局部量子编码的高表达能力会导致量子切线核值向零的指数浓缩。而对于局部损失函数，由于高表达能力，此问题仍然存在，但可以部分缓解。通过广泛的数值模拟支持了我们的理论。我们的发现揭示了量子神经切线核的一个关键特征，为实际应用中宽量子变分电路模型的设计提供了有价值的见解。
quantum tangent kernel methodsperformance analysistrainabilityexpressibilityquantum neural tangent kernels
发现论文，激发创造
  • 基于量子神经切向核的表示学习

    本研究通过分析神经切向核理论，定义了量子神经切向核，推导出其与损失函数之间的动力学方程，探讨了基于变分量子电路的量子机器学习和优化问题的培训动态的分析结果和数值模拟实验的支持结果。

    Nov, 2021

  • 神经正切核：神经网络的收敛性和泛化性

    本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

    Jun, 2018

  • 量子神经网络的威力

    本文使用信息几何工具，定义了量子和经典神经网络的表达能力，将有效维度作为证明表达能力的新广义边界，并建立了一个强大的表达能力度量。我们展示了量子神经网络能够比相似的经典神经网络实现更好的有效维度，并因其更均匀分布的 Fisher 信息谱而显示了对枯燥的高原问题具有适应性并具有快速的训练能力。我们的工作是第一个通过更高的有效维度和更快的训练能力证明精心设计的量子神经网络优于经典神经网络的，并在实际量子硬件上进行了验证。

    Oct, 2020

  • 神经切向核的归纳偏置

    本研究分析了神经网络中梯度下降法的学习动态，发现学习过程受一个称为神经切向核的初始化方式所掌控，比较了该核与其他类似结构的核函数的平滑性、逼近性和稳定性等属性，并考察了卷积网络在图像变形下的稳定性。

    May, 2019

  • 等变神经切向核

    本文首次将等变神经网络和神经切向核相结合，给出了群卷积神经网络的神经切向核的显式表达式，并在医学图像分类任务上通过数值实验证明了等变神经切向核的优越性能。

    Jun, 2024

  • 关于卷积神经切线和高斯过程核的谱偏差

    通过它们各自的高斯过程和神经切向核，研究各种过度参数化的 CNN 架构的属性，并证明了这些核的特征值随着层级特征的组合而多项式地衰减

    Mar, 2022

  • 神经频谱对齐：实证研究

    本文通过对神经网络优化过程中的经验性探索，发现神经切向核（NTK）在实际应用中会随着优化而发生重要的和有意义的变化，尤其是它的前几个特征向量会朝向神经网络所学习的目标函数，并成为神经网络输出的基础函数

    Oct, 2019

  • 神经切向核方法的神经网络修正

    使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

    Jul, 2020

  • 基于迹引发的量子核的统一框架

    将追踪引导的量子核方法与乐高核结合，提出了一种通用框架构建广义的追踪引导的量子核，通过增加模型复杂性，减少量子资源的使用，实现了与全局保真度相媲美的局部投影核的性能。

    Nov, 2023

  • 关于嵌入量子核的表达能力

    量子机器学习中的核方法和嵌入量子核函数的计算普适性进行了研究，证明了对于任意核函数总存在对应的量子特征映射和嵌入量子核函数，并且在平移不变核和组合核类中，证明了嵌入量子核函数的计算普适性，同时发现了一些新的量子核函数族的方向，但是否对应于高效的嵌入量子核函数仍然待定。

    Sep, 2023