Jan, 2022

DiGamma: 面向领域的遗传算法，用于 DNN 加速器的 HW-Mapping 联合优化

PDF
TL;DR本研究提出了一种基于硬件与映射的协同优化框架，通过采用一种高效的编码方式与基于领域知识的遗传算法 DiGamma，成功提高了搜索效率，实现了在边缘和云环境中比基准优化算法快 3.0 倍和 10.0 倍的计算速度。
dnn acceleratorshw-mapping co-optimization frameworkgenetic algorithmsearch spacespeedup
发现论文，激发创造
  • DNA: 可微分的网络加速器协同搜索

    DNA 是一个可搜索匹配网络和加速器，以最大化任务准确性和加速效率的不同 iable Network-Accelerator 同步搜索框架，在 FPGA 和 ASIC 合成中以高于 SOTA 的准确性和 FPS 为代价降低搜索时间

    Oct, 2020

  • 思维导图：实现高效的算法 - 加速器映射空间搜索

    Mind Mappings 是一种基于梯度的新型搜索方法，用于算法加速器映射空间的搜索，此方法能够在运行固定数量的步骤或固定时间内进行更高质量的映射搜索，相对于其他黑盒优化方案如模拟退火、遗传算法和强化学习，其能够达到更佳的能量延迟乘积。

    Mar, 2021

  • 面向 DNN 推理的多加速器平台的精度感知延迟和能耗平衡

    该研究提出 ODiMO，是一种硬件感知工具，用于精细映射芯片上的不同加速器，以并行执行 DNN 的不同层，从而降低推理能量消耗或延迟。在三个流行的数据集 / DNN 对上追求在精度与能量或延迟空间中 Pareto 最优网络，在 DIANA 异构超低功耗边缘 AI SoC 上部署后，ODiMO 将能量 / 延迟降低了 33％/31％，而精度下降有限（-0.53％/-0.32％），与手动启发式映射相比。

    Jun, 2023

  • 使用遗传算法改进 CNN 加速器的层间流水线

    通过图形排序的遗传算法，我们开发了一种针对卷积神经网络的层融合技术，减少了边缘平台上的数据传输，从而提高了能效和能延迟乘积（EDP），在类似 SIMBA 移动架构上的 MobileNet-v3 中实现了 1.8 倍的能效提升和 1.9 倍的 EDP 改善。我们的方法对 SIMBA 平台和 Eyeriss 平台的工作负载性能一致改善，平均 EDP 改善 1.4 倍和 1.12 倍。

    Nov, 2023

  • DEAP：DNN 加速器并行性的设计空间探索

    这篇论文展示了硬件和软件的协同设计如何为特定的大型语言模型工作负载创建定制的硬件系统，通过模型并行技术和多加速器仿真框架实现效率度量，重点关注推理工作负载并报告多种软硬件配置下的功耗、周期和延迟度量。

    Dec, 2023

  • 神经加速器的硬件 / 软件学习式协同设计

    本文提出一种基于硬件 / 软件协同设计的新的约束贝叶斯优化框架，可以自动识别联合设计空间中的优化点，应用于各种神经模型，改善能量延迟产品的性能。

    Oct, 2020

  • 通过大规模并行加速质量多样性

    本文介绍了 QDax 算法，该算法通过使用大规模的加速器并行特性优化 Quality-Diversity (QD) 算法，使得 QD 算法可以在交互式时间尺度下扩展，能够大规模地加速解决方案生成过程，并通过对四种不同环境的测试分析表明，实验运行时间从天级别降低到分钟级别。

    Feb, 2022

  • 重新思考神经网络结构与硬件加速器的共同设计

    本研究系统研究了协同设计神经网络架构和硬件加速器的重要性和策略，发现不同的使用场景会导致非常不同的搜索结果，研究表明联合搜索方法在所有延迟目标上始终优于以前的面向平台的神经体系结构搜索、手动设计的模型和最先进的 EfficientNet，可将边缘加速器的能源消耗降低高达 2 倍。

    Feb, 2021

  • DANCE: 可微加速器 / 网络共同探索

    本文介绍了 DANCE，它是一种不同 iable 方法，用于硬件加速设计和网络架构设计的共同探索，与现有方法相比，其可以在更短的时间内实现更优秀的准确性和硬件成本度量。

    Sep, 2020

  • DiGA: 经过蒸馏泛化再适应于领域自适应语义分割

    本文提出一种基于知识蒸馏的域自适应语义分割方法，用于取代当前广泛使用的对抗训练，通过阈值自由的动态伪标籍选择机制自动适应目标域，配合跨域混合数据增强技术，显著提升语义分割结果。

    Apr, 2023