大型语言模型的推出带来了自然语言处理领域的重大变革，本文调查了与转换器模型有关的各种 CIM 构架以及它们如何解决现代人工智能计算系统面临的挑战。

Jun, 2024

研究探讨了基于内存为中心的计算系统中处理器内存访问瓶颈和大量能量消耗的解决方案，考察 PIM 架构对机器学习算法训练的潜力，通过评估经典算法在 PIM 和传统 CPU、GPU 上的性能、准确度和扩展性对比，表现出更高效的处理机制和更好的加速效果。

Jul, 2022

低功耗、自主学习的人工智能 (AI) 系统对于能够应用于边缘设备并快速适应特定场景的需求日益增长。本文将学习到学习 (L2L) 的概念与基于相变存储器设备的内存计算神经形态硬件 (NMHW) 相结合，构建了能够快速适应新任务的高效 AI 模型。通过两种场景的实证表明了我们方法的多功能性：一个卷积神经网络进行图像分类，以及一个生物启发的脉冲神经网络为真实机械臂生成运动指令。这两个模型在少量参数更新的情况下快速学习，并在 NMHW 上性能与软件等效。此外，这些模型的元训练可以在高精度的软件环境中完成，无需准确的硬件模型。

Apr, 2024

通过分析编码器和解码器 Transformer 模型，我们展示了在解码器模型中内存带宽如何成为主要的瓶颈，并提出了模型架构、训练和部署策略的重新设计来克服这一内存限制。

Mar, 2024

在物理系统中信息处理的成本需要在性能和能量消耗之间做出平衡。我们在介观系统中制定和研究了计算 - 耗散瓶颈，并使用实验和人工合成任务展示了非平衡如何促进性能。我们的框架揭示了信息压缩、输入 - 输出计算和非可逆相互作用引起的动态不可逆性之间的重要权衡。

Jul, 2023

本研究旨在通过使用闪存将模型参数存储在 DRAM 之外，以满足超过 DRAM 容量的大型语言模型（LLMs）的高效运行需求。本文提出了两种主要技术，即通过重新使用已激活的神经元来减少数据传输的 “窗口化” 与利用闪存的顺序数据访问能力来增加数据块大小的 “行列捆绑”。这些方法使得模型能够在可用 DRAM 容量的两倍大小的情况下运行，并在与传统加载方法相比，CPU 和 GPU 分别实现 4-5 倍和 20-25 倍的推理速度提升。本研究通过结合稀疏感知、上下文自适应加载和面向硬件的设计，为在内存有限的设备上进行有效的 LLMs 推理铺平了道路。

Dec, 2023

利用显式记忆将大型语言模型（LLMs）的训练和推理成本降低，实现更小的参数大小、训练成本和推理成本，从而传递意义的计算。

Jul, 2024

本文研究了神经网络训练所需内存的实际需求量，并系统评估了四种降低训练内存需求的标准技术。研究结果表明，通过选择适当的技术组合，可以在保持较少损失精度的前提下，显著减少训练神经网络所需的内存。

Apr, 2019

本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用 PIM 范式进行机器学习和混合事务 / 分析处理的数据中心架构。

May, 2022

本研究提出一种名为 L2L 的新型执行技术，使用 16GB V100 设备可以在单个 16GB V100 和 512GB CPU 内存的机器上承载高达 50 亿个参数的模型，相比现有方法，减少了 45％的内存使用量并提高了 40％的吞吐量，实现了人工智能民主化。

Feb, 2020