Jul, 2024

学习减少: 关于提高大型语言模型在结构化数据上的性能

HTML
PDF
TL;DR通过 On-Policy Learning 细调语言模型以生成输入结构化数据的简化版本，Learning to Reduce 框架在减少输入中取得出色表现，并在不同数据集上展现了泛化能力，对于长篇上下文的表格问答任务尤为有效。
发现论文，激发创造
  • 大规模语言模型的结构剪枝——LLM-Pruner

    提出一种名为LLM-Pruner的方法，在保持多任务求解和语言生成能力的同时，通过结构修剪来压缩LLM，使得压缩模型在零样本分类和生成上仍然表现出令人满意的能力，并且只需要50K数据，在3小时内就能通过调整技术（LoRA）有效地恢复性能。

    May, 2023

  • 大型语言模型的模型压缩综述

    该论文提供了针对大型语言模型的模型压缩技术的综述调查，涵盖量化、修剪、知识蒸馏等各种方法，并探讨了压缩后的大型语言模型的基准策略和评估指标，旨在促进效率和实际应用的提升，为领域的未来发展奠定了基础。

    Aug, 2023

  • 压缩上下文以增强大型语言模型的推理效率

    使用选择性上下文方法（Selective Context）可以显著提高大型语言模型（LLMs）的推理效率，减少内存占用和推理时间，并在维持可比较性能的基础上实现对上下文成本的50％降低，36％的推理内存使用率降低以及32％的推理时间降低。

    Oct, 2023

  • 高效大型语言模型：综述

    大型语言模型在自然语言理解、语言生成和复杂推理等重要任务中展示出了卓越的能力，并有潜力对我们的社会产生重大影响。然而，这些能力所需的资源相当可观，强调了开发有效的技术来解决其效率挑战的迫切需求。本调研以系统和全面的方式概述了高效大型语言模型的研究成果，从模型中心、数据中心和框架中心的角度，将文献进行了分类整理。我们还创建了一个GitHub存储库，在这个存储库中收集了本调研中涉及的论文，并将积极维护并整合新的研究成果。希望本调研能为研究人员和从业者提供有价值的资源，帮助他们系统地了解高效大型语言模型的研究进展，并激励他们为这个重要而激动人心的领域做出贡献。

    Dec, 2023

  • 其中隐藏真理：使用层选择性排名降低改善语言模型的推理能力

    通过选择性删除大型语言模型（LLMs）的高阶权重矩阵组成部分，可以显著提高其性能，称为LASER（LAyer-SElective Rank reduction）方法。该方法在训练完成后对模型进行简单介入，不需要额外的参数或数据，并通过广泛的实验证明其在语言模型和数据集上的普遍适用性，同时提供了深入的分析来揭示LASER的有效性和运作机制。

    Dec, 2023

  • 学习降维：在大型语言模型中使用结构化数据的最佳表示

    使用On-Policy强化学习，我们提出了一个学习缩减的模型，旨在改进固定的大型语言模型的推理性能，在选择相关证据和处理长文本语境方面取得了良好的结果。

    Feb, 2024

  • LLM2LLM：利用新的迭代数据增强提升LLM模型

    使用以预训练大型语言模型（LLM）为基础的LLM2LLM方法，通过数据增强和迭代，显著提高LLM在低数据情况下的性能，优于传统的微调和其他数据增强方法，减少了对数据策划的依赖，为更可扩展和高性能的LLM解决方案铺平了道路。

    Mar, 2024

  • 大语言模型的高效推论综述

    大规模语言模型的有效推理需要克服模型规模大、注意力操作复杂度高、自回归解码等问题，本文对提高大规模语言模型推理效率的现有技术文献进行了综述，介绍了数据层、模型层和系统层优化的方法，并通过实验进行了定量分析，最后总结了相关知识，并探讨了未来研究方向。

    Apr, 2024

  • 大型语言模型的推理优化：影响、挑战与实践考虑

    本研究解决了大型语言模型在自然语言处理中的资源需求与复杂性问题，探讨了量化、剪枝、知识蒸馏等技术的应用。通过对这些优化方法的深入评估，揭示了它们的独特挑战及实际应用，并提供了一个优化方法的分类法，有助于理解该领域的研究方向。

    Aug, 2024

  • 大型语言模型推理的现代模型压缩

    本研究解决了大型语言模型推理过程中面临的高内存消耗和处理速度慢的问题，特别是在资源受限的设备上。通过探讨量化、知识蒸馏和剪枝等模型级压缩方法，提供了有效的压缩技术，以保持模型性能并提升其在多种平台上的可用性和实用性。

    Sep, 2024