Jul, 2023

深度学习的模型大小无关、不需要计算、基于记忆的推理

PDF
TL;DR本文提出了一种基于记忆的推断方法，结合了循环注意模型的推断机制，使用低维度的窗口进行查询和查找，以减少复杂模型的计算压力和参数量，从而提高计算效率和准确性。
deep neural networksmemorization-based inferencerecurrent attention modelin-memory computing circuitsenergy efficiency
发现论文，激发创造
  • 记忆即一切：加速大型语言模型推理的计算于内存架构综述

    大型语言模型的推出带来了自然语言处理领域的重大变革，本文调查了与转换器模型有关的各种 CIM 构架以及它们如何解决现代人工智能计算系统面临的挑战。

    Jun, 2024

  • 理解 AI 认知：受人类记忆机制启发的推理神经模块

    我们提出了一个由感知、记忆和推理构成的基于 PMI 框架的方法，通过聚合感知信息并在推理模块中与多源记忆进行交互与整合，实现了对当前感知信息更全面准确的解释，应用于改进问题回答任务、关系计算和图像分类任务等，提高了模型的效果。

    Oct, 2023

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • 大内存系统上的记忆化加速 Transformer

    本研究介绍一种基于缓存优化技术的变压器模型加速方案，通过建立基于大内存系统的注意力数据库来加速注意力计算，从而实现了平均 21％的性能提升（最高 68％），并且在推理准确性上有可忽略的损失。

    Jan, 2023

  • 计算 - 内存：什么、何时、何处

    本文研究了在机器学习推断中将计算内存 (Compute-in-memory, CiM) 技术集成的问题，并通过实验证明了使用 CiM 架构可以提高能源效率，达到低至以 INT-8 精度 0.12 倍能源消耗和重复权重交错技术下最高 4 倍的性能增益，同时提供了关于何种类型 CiM 适合使用以及何时何地最佳集成于缓存层级进行 GEMM 加速的见解。

    Dec, 2023

  • IMBUE: Tsetlin 机器的内存布尔 - 电流推理架构

    本文提出了一种基于 IMBUE 架构的内存计算方法，该方法使用 ReRAM 晶体管单元进行处理，并借鉴 Tsetlin Machine 算法，取得了较数字神经网络和数字化 Tsetlin Machine 的显著性能提升。

    May, 2023

  • 关于训练样本记忆的研究：大规模竞赛生成模型评测的经验教训

    通过设计和部署生成建模竞赛来批判性地评估能够被轻松操纵的启发式度量标准，在竞赛中，我们收到了超过 11,000 个提交的模型，并提出了新的度量标准来检测意图记忆 (MiFID)。我们进一步检查了竞赛中表现最好的 1000 个模型的代码，并手动标记了不同形式的记忆，发现非故意记忆是一个严重而普遍的问题。

    Jun, 2021

  • 高效深度脉冲多层感知机：无乘法推理

    我们提出了一种新型 SNN MLP 架构，使用批归一化保留 MFI 兼容性，并引入针对强化本地特征提取能力的尖峰编码层，有效地结合全局感受野和本地特征提取进行综合基于脉冲的计算，实现了在 ImageNet-1K 数据集上具有 66.39％的 Top-1 准确度，而不依赖预训练或复杂的 SNN 培训技术。

    Jun, 2023

  • MCUNetV2: 面向小型深度学习的高效内存补丁推理

    该研究提出了一种基于分块的推理调度方法和神经网络重构技术，通过结合神经网络的设计和推理调度，实现了在微控制器单元上高效、准确的深度学习推理，并改善了已有网络的内存瓶颈问题。

    Oct, 2021

  • 面向计算内存硬件的深度神经网络架构和配置的联合优化

    使用 CiMNet 框架，通过同时搜索最优子网络和硬件配置来创建下游任务准确性和执行指标（如延迟）的帕累托最优前沿，该框架对于 CNN 和 Transformer 系列的不同模型结构都展现了显著的效果。

    Feb, 2024