量子神经网络过参数化理论
本文研究了神经网络学习中超参数化的有效性,提出了一种使用局部搜索算法寻找全局最优解的方法,并使用 Rademacher 复杂性理论证明了在权重衰减的情况下,解决方案在数据采样自正态分布等正则分布的情况下也能很好地推广,同时还分析了具有二次激活函数和 n 个训练数据点的 k 个隐藏节点浅层网络的本质性质。
Mar, 2018
通过解析量子神经网络的存储容量 (C),研究其表达能力和参数化方式,我们发现,使用经典方式参数化的 QNN 与经典 NN 相比,在存储容量上没有优势;但使用量子状态参数化的 QNN 可以有指数级的存储容量,并提供了数值实验和理论结果。
Aug, 2019
本研究提出了基于单元能力的复杂度度量,为两层 ReLU 网络提供了更紧密的泛化界限,这可能有助于解释神经网络过参数化的泛化改进现象。同时,我们还提出了一个匹配的 Rademacher 复杂性下限,该下限优于之前神经网络的容量下限。
May, 2018
本文开发了一个不可能定理,证明了使用量子神经网络(QNNs)从高保真度的初始状态开始,学习未知量子态的概率随比特数指数级下降,而与电路深度多项式增长,从而对改善 QNNs 的可学习性和可扩展性的好的初始猜测和自适应方法提出了普遍限制,并深化了先验信息在 QNNs 中的作用的理解。
Sep, 2023
本文通过组合分析的方式,对超参数化神经网络中对称引起的关键点进行了探讨,发现这些关键点生成的正则流形在 mildly overparameterized regime 时占优,但是当 vastly overparameterized regime 时,亚线性关键点数量的组合爆炸会占据优势。最终得出一个数学公式来计算关键点数量。
May, 2021
本文利用学术研究和实验结果论证了:当超参数数量足够多时,理论上可以达到较好泛化性能,同时我们给出了在该网络中哪些类别存在过拟合现象,这一发现与其他研究结果相符合。
Oct, 2018
This paper introduces the concept of effective quantum neural tangent kernel (EQNTK) to explain the superior trainability of quantum neural networks with symmetric ansatzes in the task of ground state preparation, as well as proposes a symmetric pruning scheme based on EQNTK to tailor symmetric ansatzes from over-parameterized and asymmetric ones, which greatly improves the performance of quantum neural networks when explicit symmetry information of the Hamiltonian is not available.
Aug, 2022
本文提出了一种基于带限傅里叶展开的量子感知器(QPs)转移函数的模型,用于设计可扩展的训练过程的量子神经网络(QNNs),并在其中添加了一种随机化的量子随机梯度下降技术,消除了样本复制的需要,并证明该训练过程期望收敛于真实最小值,这有助于提高数据效率和遵守禁止复制规则。
Mar, 2022
研究浅层神经网络在过参数化情况下,如何使用二次激活函数进行训练并找到全局最优解,结果表明此方法适用于具有任意输入 / 输出对的任何训练数据,并可使用各种本地搜索启发式方法高效地找到全局最优解。同时,对於差分激活函数,我们也证明了梯度下降法在得到合适的初值后可以以线性速度收敛到全局最优解,它的输入来自符合高斯分布的选定属性且标记是通过种植的重量系数生成的。
Jul, 2017