Apr, 2024

重新思考基于深度学习的微结构仿真

PDF
TL;DR本文介绍了 TAO，它通过重新设计基于深度学习的模拟方法，提出了一种新的训练数据集设计，使用自注意力机制重新设计输入特征和 DL 模型以预测各种性能指标，并提出了训练一个微架构不可知嵌入层的技术，可以在不同的微架构配置之间进行快速迁移学习，并减少传统 DL 模拟器的重新训练开销。经过广泛的评估，我们的方法相比于现有的 DL 模拟器能够减少总体的训练和模拟时间 18.06 倍。
microarchitecture simulatorsdl-based simulationtaotraining dataset designself-attention
发现论文，激发创造
  • 通过机器学习加速计算机架构模拟

    该论文提出了一种通过利用机器学习技术加速计算机体系结构模拟的方法，该方法利用应用特征和微架构特征的组合来预测应用程序的性能，通过构建和评估一个机器学习模型展示了在体系结构探索方面的显著加速能力。

    Feb, 2024

  • 基于可靠 LLM 的任务导向对话系统用户模拟器

    DAUS 是一种基于大型语言模型的领域感知用户模拟器，通过在真实的面向任务对话示例上进行微调，显著提高用户目标的实现，并有效减少模拟器回应中的不一致性来源。

    Feb, 2024

  • 基于模拟的并行训练

    本文介绍一种训练框架，可对机器学习进行科学计算，并通过缓存数据来减轻同时生成数据的时间延迟。实验表明，该框架在多参数 Lorenz 吸引子的测试中成功缓解了数据偏差，从而可以更好地捕捉系统的复杂混沌动态。

    Nov, 2022

  • LASIL: 面向学习者感知的长期微观交通模拟的有监督模仿学习

    本文介绍了一种称为学习者感知的监督式模仿学习模型，用于解决多智能体模仿学习中的协变量转移问题，通过利用变分自动编码器同时建模专家和学习者状态分布，在城市交通仿真中应用，展示了在真实数据集 pNEUMA 上在短期微观和长期宏观仿真中相较于现有 baselines 的显著改进。

    Mar, 2024

  • 多智能体强化学习用于微处理器设计空间探索

    本文提出了使用 Multi-Agent RL 来应对硬件体系结构搜索中领域特定定制的挑战，此方法相对于单一智能体，其可扩展性更高且运行更高效。该方法已在设计领域特定 DRAM 内存控制器上得到验证，并表现出在低功耗和延迟等不同目标方面显著优于单一代理强化学习算法，如 Proximal Policy Optimization 和 Soft Actor-Critic。

    Nov, 2022

  • 以数据为导向架构视角的实际机器学习系统调查

    本文主要讨论了在现实生活中，应用机器学习的算法所面临的各种挑战，提出了数据导向架构（DOA）作为一种解决方案，探讨了现有的基于机器学习的实际系统是否实现了 DOA 的原则，并提出了 DOA 进一步发展的研究方向和挑战。

    Feb, 2023

  • 异构低功耗 SoC 的机器学习本地评估工具包

    本文介绍了一种名为 U-TOE 的通用工具包，它结合了低功耗嵌入式操作系统、通用模型转换器和编译器、集成性能测量模块以及开放访问的远程 IoT 测试平台的功能，旨在为 AIoT 设计师和研究人员提供便利，加速边缘计算的发展。

    Jun, 2023

  • 实时机器学习：遗失的部分

    针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

    Mar, 2017

  • ISimDL：用于深度学习鲁棒性评估的重要性采样驱动故障注入模拟加速

    本文提出 ISimDL 这一新的方法，通过神经元灵敏度生成重要性抽样型的错误场景，以提高对深度学习系统鲁棒性的分析效率，并基于此提出一种名为 Fault Aware Training（FAT）的新方法，该方法可减少 12 倍以上的精度降低开销。

    Mar, 2023

  • 用于深度学习能耗缩放律的晶体管操作模型

    本文提出基于底层晶体管操作的方法来研究深度学习中非线性激活函数和神经网络结构对能量消耗的影响，实验证明该方法可以高度准确地预测深度学习模型的能量消耗。

    May, 2022