Dec, 2023

Mini-GPTs: 基于上下文剪枝的高效大型语言模型

PDF
TL;DR利用上下文剪枝技术开发 Mini-GPT 来优化大型语言模型（LLMs），通过对传统 LLMs 的计算架构进行剪枝，保留核心功能同时大幅减小模型大小，此方法在多样且复杂的数据集上展现了高效性和有效性，作为构建领域特定 LLMs 的潜力方法，是未来发展的基石。
large language modelsoptimizationmini-gptscontextual pruningdomain-specific llms
发现论文，激发创造
  • 基于梯度自由的自适应全局修剪预训练语言模型

    通过重新定义全局修剪过程为可管理的、协调的子问题，并利用辅助变量进行问题分解，AdaGP 框架在 LLMs 上展示了重要的性能提升，特别是在高稀疏度范围内超越了当前最先进的方法。

    Feb, 2024

  • 大型语言模型修剪

    本研究提出了一种针对 LLMs 的模型修剪技术，强调深度学习模型的可解释性，并通过互信息估计和调参来指导修剪过程。同时，还探讨了大规模模型和小规模模型的修剪差异，并展示了所提出模型相对于现有模型的优越性。

    May, 2024

  • 序列标注的语言模型剪枝：高效的上下文表示

    本研究提出了一种基于稀疏性诱导正则化的层选择方法，用于压缩大型预训练语言模型，以提高特定任务的计算效率，并在两个基准数据集上进行了实验验证其有效性。

    Apr, 2018

  • 大型语言模型作为数据预处理器

    此研究拓展了大型语言模型（LLMs）的应用，探索了它们在数据预处理中的潜力，包括错误检测、数据插补、模式匹配和实体匹配任务。我们提出了一个基于 LLMs 的框架，用于改进模型的性能和效率。实验结果表明 LLMs 在数据预处理中具有巨大潜力。

    Aug, 2023

  • 大规模语言模型的结构剪枝 ——LLM-Pruner

    提出一种名为 LLM-Pruner 的方法，在保持多任务求解和语言生成能力的同时，通过结构修剪来压缩 LLM，使得压缩模型在零样本分类和生成上仍然表现出令人满意的能力，并且只需要 50K 数据，在 3 小时内就能通过调整技术（LoRA）有效地恢复性能。

    May, 2023

  • MemGPT：朝着 LLMs 作为操作系统迈进

    通过虚拟上下文管理技术，提出了 MemGPT（Memory-GPT）系统，该系统能够在有限的上下文窗口中有效地提供扩展的上下文，从而在文档分析和多会话聊天等任务中克服现代大型语言模型的限制。

    Oct, 2023

  • 大型语言模型的一次性敏感度感知混合稀疏剪枝

    通过基于 Hessian 灵敏度感知的混合稀疏剪枝方法，我们提出了一种剪枝 LLMs 的方法，以至少达到 50% 的稀疏度，而不需要任何重新训练，该方法适应性地分配稀疏度，减少了剪枝引起的错误，同时保持了整体稀疏度水平，并且在稀疏度极高时表现出更显著的优势，此外，我们的方法与量化兼容，从而进一步压缩 LLMs。

    Oct, 2023

  • HPC-GPT：大规模语言模型在高性能计算中的整合

    提出基于 HPC 领域的 LLaMA 模型 HPC-GPT，通过生成的 QA 实例进行细粒度调整，提升 LLM 在高性能计算任务中的性能表现。通过在 AI 模型、数据集管理以及数据竞争检测等 HPC 任务中使用 HPC-GPT，得到与现有方法相媲美的结果，展示其在 HPC 相关场景下的优秀性能。实验结果表明 HPC-GPT 潜力巨大，能够弥合 LLM 和 HPC 特定任务之间的性能差距，为复杂计算应用中的语言模型的使用铺平道路。

    Oct, 2023

  • 无线应用设计中的大型语言模型：具上下文学习增强的自动网络入侵检测

    使用预训练 LLM 强化框架进行完全自动化网络入侵检测，通过在真实网络入侵检测数据集上进行实验，证明了在上下文学习方面的优势，可以在无需进一步训练或微调 LLMs 的情况下改善任务处理性能，GPT-4 的测试准确性和 F1 分数可以提高约 90%。此外，预训练 LLMs 在执行无线通信相关任务方面表现出巨大潜力，通过仅使用 10 个上下文学习示例，提出的框架可以在不同类型攻击中达到超过 95% 的准确性和 F1 分数。

    May, 2024

  • 面向高效和可解释的自回归转换器的动态上下文剪枝

    本文提出一种采用动态修剪机制的 Autoregressive Transformers 方法，可以在保持模型表现力不变的同时，减少生成过程中上下文信息的存储和计算负担，有效地解决了推理成本过高的问题。实验证明，该方法可以高效地修剪 80% 的上下文信息，同时大幅提升推理吞吐量和节约存储空间。

    May, 2023