Sep, 2018

FermiNets：通过生成合成学习生成式机器生成高效神经网络

PDF
TL;DR本研究提出了一种名为 “生成综合” 的新方法，它可以自动生成高度有效的深度神经网络架构，该方法可以广泛应用于移动和其他消费设备的边缘场景中，目的是加速和改进深度学习模型的构建，并提高模型效率和能源效率。
deep learningefficient network architecturesgenerative synthesisferminetson-device edge scenarios
发现论文，激发创造
  • 生成教学网络：通过学习生成合成训练数据加速神经架构搜索

    本论文通过介绍生成性教学网络 (Generative Teaching Networks, GTNs) 和对其在监督学习和神经架构搜索领域的应用实例说明了利用算法自动生成训练数据和学习环境帮助 AI 代理快速学习的可能性以及潜在影响，并提出了一些有趣的研究方向。

    Dec, 2019

  • 使用生成对抗网络学习生成椅子

    本文探讨了使用生成对抗网络 (GAN) 合成高度逼真图像的优化问题，针对当下模型存在的问题，提出了一种修改规则和设计模型的方法。实验表明，我们的方法可以更有效地训练 GAN 模型，并以 3D 物体投影问题为例进行了验证。

    May, 2017

  • 无数据学习的学生网络

    提出基于生成对抗网络（GANs）的深度神经网络的无数据训练方法，将预训练的教师网络视为固定的鉴别器，利用生成器派生的训练样本和教师网络一起训练出模型较小和复杂度较低的有效网络。通过 Data-Free Learning（DAFL）方法学习，使用 ResNet-18 在 CIFAR-10 和 CIFAR-100 数据集上实现了 92.22％ 和 74.47％ 的精度，并在 CelebA 基准测试上获得了 80.56％ 的精度。

    Apr, 2019

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • 基于生长 - 修剪范式的神经网络合成工具 NeST

    论文介绍了一种名为 NeST 的 DNN 综合工具，它采用增长和修剪的方式来自动学习权重和紧凑的 DNN 网络架构，以生成准确且很小的 DNN 网络。

    Nov, 2017

  • 描述者与生成器网络的协同训练

    本文研究了两个生成模型的协作训练，利用卷积神经网络 (ConvNets) 来进行图像建模和合成，并探究了如何将 MCMC 采样算法无缝地融入协作学习算法中，成功地实现了两个模型的同步训练，从而学习到高度真实的生成模型。

    Sep, 2016

  • 利用深度生成网络合成神经网络内部神经元的首选输入

    通过激活最大化算法，使用深度生成网络为神经网络内部的感知器学习特征提供先验知识，可以生成高质量的合成图像和可解释的特征，同时作为一种高质量的生成方法。

    May, 2016

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • BasisNet：高效推理的两阶段模型合成

    本文提出了 BasisNet，它采用轻量级模型和两阶段模型合成策略，结合了高效神经网络体系结构、条件计算和早期终止，具有高效且精确的性能。在 ImageNet 分类基准测试中，使用 BasisNet 的 MobileNets 作为骨干网络，相比于其他基准测试，BasisNet-MobileNetV3 获得了显著的精度 - 效率平衡优势，仅需 290M 的乘加操作即可达到 80.3% 的 top-1 准确率，而且在不降低准确率的情况下，平均成本可进一步降低至 198M MAdds。

    May, 2021

  • 前馈网络实现的多样化纹理合成

    本文提出了一种基于深度生成式前馈网络实现的纹理综合方法，具有在一个网络内高效综合不同纹理并进行有意义插值的能力，并通过多项实验证明了提出的模型和技术的有效性和应用前缀。

    Mar, 2017