Feb, 2024

Merino: 基于熵驱动的生成式语言模型设计以应用于物联网设备

PDF
TL;DR我们提出了一种新颖的信息熵框架，用于设计面向移动设备的生成式语言模型。我们通过最大化给定计算预算内的 Transformer 解码器的熵来进行关键设计，从而在数分钟内在 CPU 上解决数学规划问题，几乎为零成本。我们评估了我们设计的模型 MeRino，在九个 NLP 下游任务中展示了它们在移动设置下与最先进的自回归 Transformer 模型竞争的性能。值得注意的是，MeRino 在 NVIDIA Jetson Nano 上的速度是 350M 参数 OPT 的 4.9 倍快，模型大小减小了 5.5 倍，但具有类似或更好的零性能。代码将很快提供。
generative large language modelsinformation-entropy frameworkmobile-friendly generative language modelstransformer decodersmerino
发现论文，激发创造
  • 一个量化的大型语言模型在各种智能手机上的性能评估

    本研究探讨在各种苹果 iPhone 型号上进行设备内大型语言模型 (LLM) 推理的可行性和性能。通过对运行在有限资源设备上的数十亿参数的 LLM 的现有文献进行利用，我们的研究考察了高性能 LLM 在不同智能手机世代上的热效应和交互速度。通过提供实际性能结果，我们提供了关于设备内推理能力的见解。

    Dec, 2023

  • 革命性的移动互动：在移动设备上支持 30 亿参数的 GPT LLM

    AI 领域近年来取得了显著的进展，尤其是基于变压器架构的强大大型语言模型（LLMs）的出现。本文介绍了一种创新的 LLM 推理方法，展望了在无需网络连接的情况下，拥有数十亿参数的 LLMs 可以直接在移动设备上执行的未来。该应用程序不仅作为一个通用助手，而且通过原生代码和模型量化技术的结合，还可以实现与文本到动作功能的无缝移动交互。文章还提供了关于本地 LLM 推理的训练流程、实现细节、测试结果和未来方向的见解。这一突破性技术为用户提供了强大的人工智能能力，同时保护了用户的隐私并消除了延迟问题。

    Sep, 2023

  • E-Sparse: 通过基于熵的 N:M 稀疏性提升大型语言模型推理

    传统修剪方法在大型语言模型中的使用具有挑战性，因为训练过程代价高且计算需求大。我们首次引入隐藏状态特征的信息熵作为修剪度量设计，即 E-Sparse，以提高大型语言模型的 N:M 稀疏性准确性，并通过引入信息熵和几种创新技术来快速优化信息分布和应对 N:M 稀疏性对准确性的影响。E-Sparse 通过 FasterTransformer 实现为 Sparse-GEMM，并在 NVIDIA Ampere GPU 上运行。对 LLaMA 系列和 OPT 模型进行的广泛实验表明，E-Sparse 可以显著加速模型推理（高达 1.53 倍），并实现显著的内存节省（高达 43.52%），在可接受的准确性损失范围内。

    Oct, 2023

  • LLM 基于的高效物联网生成方法

    在本研究中，我们提出了一种在局域网设置中部署的基于文本生成的物联网（GIoT）系统，通过应用提示工程方法增强开源 LLMs 的能力，并设计了提示管理模块和后处理模块，以管理不同任务的个性化提示并处理 LLMs 生成的结果。通过对两个流行的 Table-QA 数据集进行全面实验，结果表明我们的提议可以达到与最先进的 LLMs 相当的性能，证明了所提出的基于 LLMs 的 GIoT 系统可以通过个性化提示方法提供具有竞争力的性能，并且可以轻松扩展到新的任务而无需培训。

    Jun, 2024

  • Transformer-Lite: 在手机 GPU 上高效部署大型语言模型

    为了在移动设备上高效部署大型语言模型，我们提出了四种优化技术：基于符号表达式的动态模型推断，操作符优化和执行优先级设置，FP4 量化方法以减少反量化开销，以及基于子张量的技术以消除 LLM 推断后的缓存拷贝需求，并利用这些方法实现了移动推断引擎 Transformer-Lite。与 CPU 和 GPU 的其他引擎相比，我们的引擎在填充速度上实现了超过 10 倍的加速，并在解码速度上实现了 2~3 倍的加速。

    Mar, 2024

  • 基于生成检索增强的本体图和多智能体策略的解释性大型语言模型材料设计

    使用 Transformer 神经网络和大型语言模型进行材料分析、知识生成和力场开发的研究。

    Oct, 2023

  • MELTing 点：语言变形器的移动评估

    机器学习中的 Transformers 引领了一场革命，但由于其运行时要求，不能广泛用于移动设备。该研究通过创建自动化基础设施 MELT 来评估大型语言模型在移动设备上的执行情况，并对性能、能效和准确性进行了量化。结果表明，移动设备的执行存在性能差异，LLM 的执行主要受内存限制。量化可以显著减少内存需求，但会带来一定的准确性损失。同时，作者认为生态系统仍处于初级阶段，并预测 NPU 加速和框架设备协同设计是实现有效独立执行的最佳选择。

    Mar, 2024

  • 基于矩阵熵的大型语言模型评估

    通过信息论和几何原理，我们引入了矩阵熵作为一种新的度量标准，以量化大型语言模型中的数据压缩能力，展示其在单模态和多模态设置中的适用性，并发现它可以作为传统损失缩放定律的补充。同时，我们基于矩阵熵提出了一种评估方法，用于评估对齐质量，并发现现代大型多模态模型表现出良好的对齐性能。

    Jan, 2024

  • 大型语言模型和 ChatGPT 的循环脉冲神经网络的 Verilog 设计

    探索使用大型语言模型（LLMs）自动生成硬件描述代码的潜力，以支持和增强高效的神经形态计算架构的开发，并通过三个案例研究验证其可行性和实施性。

    May, 2024

  • 从语言到电路：使用自然语言描述生成可运行的电子设备

    本文介绍了一项新的研究成果，展示了当代语言模型具有电子电路设计技能的能力，类似于代码生成。研究人员引入了两个基准：评估模型知识电气元件的 Pins100 和评估模型设计常见微控制器电路和代码的 Micro25。其中包括六个案例研究，展示语言模型作为设计助手的应用，同时提出了一些研究挑战和发展方向建议。

    May, 2023