Jul, 2024

MonoSparse-CAM：利用单调性和稀疏性增强CAM上的树模型处理

HTML
PDF
TL;DR通过引入一种名为MonoSparse-CAM的新型基于内容寻址内存（CAM）的计算优化技术，本文提出了一种用于TBML的有效部署优化解决方案，并研究了TBML模型结构对数组稀疏性的影响，从而提供了在硬件上实现高效能量利用的关键见解。
发现论文，激发创造
  • XGBoost：一个可扩展的树提升系统

    本文介绍了一种名为 XGBoost 的高可扩展的树提升系统，该系统采用稀疏数据的新型稀疏感知算法和加权分位数草图以实现近似树学习，结合了缓存访问模式、数据压缩和分片等方法，能够在使用远少于现有系统的资源情况下，扩展到数十亿个示例。

    Mar, 2016

  • 神经架构搜索的几何感知梯度算法

    本文研究神经架构搜索中的优化问题，提出一种基于单层经验风险最小化的几何感知框架，结合梯度下降和正则化的优化器，通过基于连续优化的松弛方法实现对离散寻找空间的搜索，成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。

    Apr, 2020

  • 机器学习模型的稀疏和不规则张量计算的硬件加速：调查和洞见

    本论文综述了利用稀疏度、大小缩减和张量量化压缩超参数化模型以提高 ML 模型效率的方法，并分析了在硬件加速器上加速处理的机会和挑战，其中包括加速器系统的增强模块以支持其高效计算、不同硬件设计和加速技术、可实现 DNN 的加速、结构化稀疏度如何提高存储效率和平衡计算以及在加速器上如何编译和映射具有稀疏张量的模型的设计趋势。

    Jul, 2020

  • 现代数据密集型应用的异构数据中心架构：机器学习和数据库的案例研究

    本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用PIM范式进行机器学习和混合事务/分析处理的数据中心架构。

    May, 2022

  • 面向边缘端的协同多任务神经结构搜索优化稠密预测性能

    该论文提出了一种名为EDNAS的新型架构，通过多任务学习（MTL）和硬件感知神经架构搜索（NAS）的联合学习，成功地提高了边缘平台上稠密预测的准确性，并通过提出JAReD方法降低了输出噪声，并揭示了最佳架构。

    Oct, 2022

  • X-TIME: 用于加速基于CAMs的表格数据机器学习的内存引擎

    在数据科学领域，结构化或表格形式的数据是最常见的格式。然而，在机器学习模型从表格中学习时，相比于简单的方法，深度学习模型的准确性要低得多。本文提出一种模拟-数字一体化架构，通过实现全新的高精度模拟内容寻址内存和可编程片上网络，实现了一种高效地实现基于树的机器学习模型（如XGBoost和CatBoost）推理的方案。在16纳米技术完成的单芯片上，性能相比于最先进的GPU具有119倍的较低时延和9740倍的更高吞吐量，能够极大地加速科学发现。

    Apr, 2023

  • 面向仅限CAM的DNN推理的全栈优化

    基于赛道存储器 (RTM) 实现的关联处理器 (APs) 和三值权重神经网络的算法优化结合的新型编译流路，可显著提高 ResNet-18 在 ImageNet 上的能效，同时保持软件准确性。

    Jan, 2024

  • 基于无电源嵌入式系统的内存高效、能量适应的预训练模型推理

    提出了一种名为 FreeML 的框架，旨在优化预训练的深度神经网络模型，以在电池无需设备上进行内存高效和能量自适应的推理，通过使用压缩技术减小模型尺寸，并引入早期终止机制以实现能量自适应推理，同时最小化内存开销。

    May, 2024

  • TREE：树正则化用于高效执行

    通过奖励不均匀概率分布来减少决策树路径长度，优化决策树的内存架构感知实现以降低执行时间。

    Jun, 2024

  • MONAS：面向微控制器的高效零-shot神经架构搜索

    本文解决了在资源受限的边缘设备（如微控制器）上进行高效神经架构搜索的问题，以前的方法未考虑硬件限制。提出的MONAS框架结合了硬件延迟估计模型和专门的性能指标，无需大量训练和评估即可识别最佳神经架构。研究表明，MONAS在搜索效率上比以往工作提高了1104倍，并且在保持相似精度的同时，微控制器上的推理速度提升了3.23倍。

    Aug, 2024