Sep, 2022

超表示作为生成模型：采样未见的神经网络权重

PDF
TL;DR本文介绍了一种基于模型动物园的神经网络权值表示学习方法，借助该方法可以生成高性能模型，此外还探讨了模型之间特性聚合对学习效果的影响。
neural network weightsmodel zoohyper-representationgenerative modelsknowledge aggregation
发现论文，激发创造
  • 利用随机权重的强大生成模型用于深度图像表示

    使用未训练的卷积神经网络，创建新的生成模型，用于图像重建、纹理合成和样式转换等深度可视化任务，并发现了新的深度网络结构表示学习的一些特性和规律。

    Jun, 2016

  • HyperGAN：一种多样化、高性能神经网络的生成模型

    本文介绍了一种名叫 HyperGAN 的生成模型，用于学习神经网络参数的分布，并使用它生成包含有效参数的深度神经网络。HyperGAN 可以用于大规模和多样化的生成，可以用于标记 MNIST 和 CIFAR-10 数据集，能提供比标准集合更好的不确定性评估。

    Jan, 2019

  • 超级表示：基于神经网络权重的自监督表示学习用于模型特征预测

    本文提出了在神经网络中使用自监督学习方法来学习超级表示法，引入了特定领域的数据增强和适应的注意力架构，并通过实验证明该方法能够较好地预测超参数、测试精度和泛化差距，并能用于超越分布场景。

    Oct, 2021

  • 深度神经网络的采样权重

    我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数，通过玩具模型和实际数据集的实验，证明了我们构造的采样网络是普适逼近器，并且采样框架对于输入数据的缩放和旋转是不变的，这意味着许多流行的预处理技术不再需要。

    Jun, 2023

  • 基于标签监督学习表示能力的极限

    基于信息理论的角度，我们证明了生成式模型更适合于表征学习。而某些生成式模型，如生成对抗网络（GANs），在表征学习方面具有比有监督学习更强的潜力。此分析为进一步探索生成式表征学习提供了坚实的理论基础。

    Mar, 2017

  • 使用引导权重的深度学习中的稀疏不确定性表示

    本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

    May, 2021

  • 关于学习某些深度表示的可证界

    本文介绍了一种具有可证明保证的算法，学习了一个由 Hinton 等人推广的生成模型视图中的深度网络类。该算法使用分层学习的技术，通过观察特征的相关性和使用全局图恢复过程推断出底层网络的边缘结构，并揭示了随机边缘权重神经网络的有趣结构。

    Oct, 2013

  • 基于混合表示的场景合成深度生成建模

    本论文提出了一种基于深度生成模型的室内环境场景建模技术，使用前馈神经网络将先验分布映射到室内场景中的主要物体分布，并结合 2D 和 3D 物体排列表示的区分器损失对该模型进行训练，并在多个基准数据集上验证了该模型在场景插值和补全方面的有效性。

    Aug, 2018

  • 深度生成模型分层学习

    本文提出了一种基于乐观的概率方法进行逐层训练 DeepAutoEncoder 的过程，可以提高深度架构训练的性能，实验结果表明使用比生成模型更丰富的推理模型可以有效地提高性能。

    Dec, 2012

  • 生成神经符号机

    本文提出了生成神经符号机，它是一种将分散和符号表示的优点相结合的生成模型，支持符号组件的结构化表示和基于密度的图像生成。该模型在结构精度和图像生成质量方面显著优于以前的结构表示模型以及现有的非结构生成模型。

    Oct, 2020