Nov, 2020

基于 NNGP 的神经结构搜索

PDF
TL;DR本文研究 Bayesian 神经网络，使用 Monte-Carlo NNGP 推断方法得到 NNGP 性能，探讨其在神经架构搜索中的应用，发现 NNGP 性能具有成本低廉、独立于训练度量且可以用于缩小大搜索空间或提高基于训练的性能度量的优点。
bayesian neural networkgaussian processmonte-carlo nngp inferenceneural architecture searchnngp performance
发现论文，激发创造
  • 后验引导的神经网络结构搜索

    本研究从贝叶斯角度出发，提出了一种后验引导的神经结构搜索方法（PGNAS），通过估计网络结构和权重的联合后验分布，减少数据采样与超参数调整，并在图像分类任务上进行验证，证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。

    Jun, 2019

  • 神经网络高斯过程的比例混合

    本文提出了一种基于高斯随机变量尺度混合的 NNGPs 模型，并利用先验分布在最后一层参数上引入尺度先验，使得任何架构的无穷宽神经网络都能转化为一种更丰富的随机过程，通过实验进一步证明了该模型在回归和分类任务方面的可行性和鲁棒性。

    Jul, 2021

  • GENNAPE: 通向广义神经网络架构性能估计的方法

    本文提出了 GENNAPE，一种基于预训练的神经架构性能估计器，通过网络表示、对比预训练和基于模糊聚类的预测器集合相结合，旨在对完全未知的神经网络进行泛化。实验表明，GENNAPE 在 NAS-Bench-101 上预训练可以在 5 个不同的公共神经网络基准测试中实现卓越的可转移性，并能正确定位这些网络中的高性能体系结构。

    Nov, 2022

  • 多层随机特征和神经网络的逼近能力

    神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词，论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构，它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核，同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。

    Apr, 2024

  • 无限关注：NNGP 和 NTK 用于深度注意力网络

    通过 NNs 和 GPs 之间的等价性，研究多头关注层体系结构并评估其在 GP 中的应用，通过对注意力内核的评估，提出了改进的注意力机制，并介绍了新特性，将 NNGP / NTK 模型应用于变长序列。

    Jun, 2020

  • 深度神经网络作为高斯过程

    本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

    Nov, 2017

  • 灵活的无限宽度图卷积网络及表示学习的重要性

    神经网络的无限宽度极限通常被认为是具有高斯过程分布的，称为神经网络高斯过程，然而固定的 NNGP 核函数无法进行表示学习，为了了解图分类和节点分类任务中表示学习的必要性，我们开发了一个精确的工具，即图卷积深核机器，发现表示学习对于图分类和异质节点分类任务是必要的，但对于同质节点分类任务则不是。

    Feb, 2024

  • 在无限宽度极限下探究神经网络隐式先验的不确定性特性

    本文研究深度学习模型的不确定性估计问题，基于神经网络高斯过程构建了一个概率模型，能够更好地校准模型并比较有限和无限宽模型的表现差异，同时也考虑了分类问题和迁移学习等实际应用场景。

    Oct, 2020

  • 基于信息谱归一化高斯过程的轨迹预测

    通过使用先前学习到的先验知识以优化概率深度学习模型，提出了一种基于正则化的连续学习方法，应用于自主驾驶中的轨迹预测问题，证明了其在减少训练数据和跨场景情况下具有提高数据效率和鲁棒性的能力。

    Mar, 2024

  • 条件神经过程

    本文提出了一系列的神经模型 CNPs，结合了深度神经网络和高斯过程两种方法，旨在对给定数据集做出精确预测。

    Jul, 2018