Jul, 2021

LANA: 延迟感知网络加速

PDF
TL;DR介绍了一种基于神经结构搜索技术和教师 - 学生知识蒸馏的延迟感知网络加速（LANA）方法，它在实验中取得了优异的效果，大幅提升了神经网络加速的速度和准确性。
latency-aware network accelerationneural architecture searchteacher-student distillationinteger linear optimizationneural network acceleration
发现论文，激发创造
  • LLaMA-NAS：大规模语言模型高效神经架构搜索

    提出了一种基于一次性 NAS 的高效方法，通过对 LLaMA2-7B 进行微调，并应用基于遗传算法的搜索方法找到更小、计算复杂度较低的网络架构，实现了模型大小减少和吞吐量加速，同时保持了准确性；此方法比修剪或稀疏化技术更有效和高效，并且证明了量化能够进一步减少网络的大小和复杂度，为自动创建适用于廉价、更易得到的硬件平台的大型语言模型提供了解决方案。

    May, 2024

  • 面向点云网络的延迟有限神经结构搜索 LC-NAS

    本研究提出了一个新的神经网络架构搜索框架 ——LC-NAS，该框架可以在指定延迟内搜索点云网络结构，并平衡了精度和延迟之间的权衡，实验结果表明，该框架在计算成本最小化的同时，能够找到具有最先进性能的点云分类体系结构。

    Aug, 2020

  • LayerNAS：多项式复杂度下的神经架构搜索

    LayerNAS 是一种利用组合优化来解决多目标神经网络架构搜索的方法，能够在多种搜索空间中发现优秀的模型候选项。

    Apr, 2023

  • 在数据中心加速器上寻找快速模型族

    本文提出了一个基于数据中心加速器优化的神经网络架构搜索空间，并探讨了新型的复合比例尺度方法，提出了一种称为 EfficientNet-X 的新型模型系列，该模型在 TPUv3 和 GPUv100 上比现有的 RegNet 和 ResNeSt 速度均快至少 2 倍，同时具有可与其相媲美的准确性。

    Feb, 2021

  • 学习动作空间的高效神经架构搜索

    本文提出了一种名为 LaNAS 的神经结构搜索方法，通过学习用于递归将搜索空间分成具有相似性能指标的好或坏区域的动作，可以显着提高搜索效率，实验结果表明，LaNAS 至少比进化算法、贝叶斯优化和随机搜索等基线方法高一个数量级的采样效率，可以在较少的采样次数中达到令人惊叹的性能。

    Jun, 2019

  • MnasNet：面向移动端平台感知的神经结构搜索

    本文提出了一种自动化的移动神经结构搜索（MNAS）方法，该方法将模型延迟明确地纳入主要目标，以便搜索可以识别满足准确性和延迟之间良好平衡的模型， 实验结果表明，该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型，并且实现了更好的 mAP 质量。

    Jul, 2018

  • 关于神经架构搜索的延迟预测器

    通过硬件感知的神经架构搜索，预训练和迁移学习方法来改进神经网络的部署效率，并提出了综合性的延迟预测模型，能够有效地提高硬件延迟预测的准确性。

    Mar, 2024

  • 延迟感知的可微神经架构搜索

    通过在优化中添加可微延迟损失项，使搜索过程能够在准确性和延迟之间进行权衡，并通过延迟预测的核心来实现，该核心将每个网络架构编码并馈送到多层回归器中。我们的方法能够降低 20％的延迟同时保持准确性，且易于转移到其他硬件平台或其他不能微分的因素上进行优化。

    Jan, 2020

  • 高效资源神经网络架构

    提出了一种使用策略网络进行网络嵌入的强化学习的资源有效型神经架构搜索方法，可以在计算资源受限制的情况下获得高性能的神经网络结构，并在图像识别和关键词识别问题上实现了先进的性能。

    Jun, 2018

  • 实例感知神经架构搜索

    本文提出了一种基于实例的神经架构搜索方法 InstaNAS，通过搜索一种 “架构分布” 而不是单一的神经架构，确保难以处理的样本使用复杂的神经架构来减少前处理时间，并在搜索空间中验证表明，与 MobileNetV2 相比，在多个数据集上具有相同的准确性和大约 48.8％的前处理时间减少。

    Nov, 2018