Mar, 2023

内存子系统的进化设计

PDF
TL;DR本研究旨在通过三个方法进行内存子系统的优化，包括分析和优化寄存器文件的热影响，通过优化缓存配置从而提高性能和功耗，以及简化通用和定制动态内存管理器的设计和评估过程。我们使用进化算法和内存模拟器来评估每种候选方案的质量，并利用优化算法提供的解决方案探索。最后，我们使用广为人知的基准应用程序对提案进行实验验证。
memory hierarchyembedded systemsoptimizationthermal impactevolutionary algorithms
发现论文，激发创造
  • 嵌入式系统单层缓存存储器能量消耗和执行时间的多目标优化

    本文提出一种基于多目标进化算法的优化方法，以在给定一组应用程序的情况下寻找最佳缓存配置，结果显示我们的优化框架能够获得针对 Mediabench 应用程序的优化缓存，与基线缓存相比，我们的设计方法在执行时间和能耗上平均分别提高了 64.43％和 91.69％。

    Feb, 2023

  • 通过语法演化优化嵌入式系统的 L1 缓存

    本文提出了一种基于语法进化的优化框架，以高效地找到适用于给定基准应用程序的最佳缓存配置，对 Mediabench 套件进行实验，结果显示我们的提议能够找到适当的缓存配置，平均改善了 62％。

    Mar, 2023

  • 一种可配置和高效的神经网络硬件加速器内存层次结构

    我们提出了一个可配置的内存层次结构框架，旨在为深度神经网络 (DNNs) 的自适应内存访问模式提供数据，并在最小化所需内存容量的同时维持高加速器性能方面达到优化平衡。

    Apr, 2024

  • 暗硅时代的黑暗内存和加速器丰富的系统优化

    在 Dark Silicon 时代，Dark Memory 状态对于算法并行性和局部性与硬件的协同设计是实现能效和高性能的关键，并通过创建特定加速器和使用 Pareto 曲线来解决能源 / 操作和 mm2 / (ops/s）度量空间的能量性能与面积权衡问题。

    Feb, 2016

  • 现代数据密集型应用的异构数据中心架构：机器学习和数据库的案例研究

    本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用 PIM 范式进行机器学习和混合事务 / 分析处理的数据中心架构。

    May, 2022

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • 分析基于真实处理内存系统的分布式优化算法

    大规模数据集上的机器学习（ML）训练是一项非常昂贵和耗时的工作负载，处理器中心化体系结构（例如，CPU，GPU）常用于现代 ML 训练工作负载，但受制于数据移动瓶颈，即不断访问训练数据集。因此，处理器中心化系统面临着性能下降和高能耗的问题。内存中处理（PIM）是缓解数据移动瓶颈的有希望的解决方案，将计算机制放置在或靠近内存中。我们的目标是了解流行的分布式优化算法在现实世界的 PIM 架构上加速数据密集型 ML 训练工作负载的能力和特性。结果表明，现代通用 PIM 体系结构可以成为许多内存受限的 ML 训练工作负载与最先进的 CPU 和 GPU 的可行替代方案，当 PIM 硬件本地支持操作和数据类型时。此外，仔细选择最适合 PIM 的优化算法以及对于许多数据密集型 ML 训练工作负荷而言，当节点数增加时，与常见观点相反，现代 PIM 架构不能实现线性扩展。为了促进未来的研究，我们打算开源我们的完整代码库。

    Apr, 2024

  • 机器人认知架构的记忆系统及其在 ArmarX 中的实现

    本论文针对认知机器人控制架构中的知识管理问题，提出了一种支持感知运动表示和语义表示之间中介和提供数据驱动服务的内在记忆结构，并且对基于该结构的 ArmarX 机器人软件框架进行了评估。

    Jun, 2022

  • 用于深度多任务网络的进化架构搜索

    通过进化优化，结合自定义路由和共享模块，提高了 Omniglot 的多任务、多字符识别的表现，为深度神经网络和复杂系统设计提供了重要思路。

    Mar, 2018

  • 移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

    深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

    Jan, 2024