Aug, 2024

针对语言模型问题解决的计算最优推理的实证分析

HTML
PDF
TL;DR本研究针对大型语言模型（LLMs）推理配置不充分探索的问题，提出了一种计算最优推理的方法。我们评估了多种推理策略的有效性和计算效率，发现利用较小的语言模型和新颖的树搜索算法可以在预算受限情况下实现最佳的性能和计算成本配比。这一发现为在资源有限的环境中提升问题解决准确性提供了新的思路。
发现论文，激发创造
  • 训练最优的大型语言模型

    本文研究在给定计算预算下训练变换器语言模型的最佳模型大小和标记数量,并发现对于计算优化的训练，模型大小和训练标记数量应该等量缩放。同时测试了此假设通过训练一个预测计算最优模型的Chinchilla，该模型在大范围的下游评估任务中均匀且显著地优于Gopher，GPT-3，Jurassic-1和Megatron-Turing NLG。

    Mar, 2022

  • 使用大型语言模型进行可解释的逻辑推理的Selection-Inference方法

    本文对大型语言模型在逻辑推理方面进行了全面评估，提出了一种基于选择和推理的框架，可以在不进行微调的情况下改进性能，并伴随着因果自然语言推理过程的答案。

    May, 2022

  • 面向多步推理的小语言模型特化

    揭示了将大规模语言模型进行特化，使其在特定任务上具有相对较强的表现的可能性，并使用多步数学推理作为测试，通过设计优化措施来提高其广义性能。

    Jan, 2023

  • 类阿尔法零树搜索可引导大规模语言模型的解码和训练

    借鉴AlphaZero的树搜索框架，通过学习价值函数来引导大型语言模型（LLMs）的解码能力，并在推理和训练中进行译码指导，有效地提升推理能力、规划和强化学习任务的对齐。

    Sep, 2023

  • 小语言模型微调以协调更大的语言模型，提升复杂推理

    引入DaSLaM，使用分解生成器将复杂问题分解为需要更少推理步骤的子问题，由求解器回答。我们的方法在多个不同推理数据集上进行评估，表明1750亿参数LM（text-davinci-003）可以产生与规模更大的GPT-4相比具有竞争力甚至更好的性能。

    Oct, 2023

  • 是否需要更多的LLM调用？朝着扩展化合物推理系统的法则迈进

    使用复合系统进行大型语言模型调用和聚合以取得最新语言任务的最优结果，本文研究了调用次数对复合推理系统性能的影响，并发现投票推理系统的性能随调用次数的增加呈现非单调变化，这是由于任务中存在易难不同的查询难度所导致，进一步提出了投票推理系统的缩放规律，并验证了该规律可以预测推理系统的性能和最佳调用次数。

    Mar, 2024

  • 大型语言模型的推理效率从粗粒度到细粒度评估

    通过对各种代码库的推理性能进行粗细的分析，本研究提供了研究人员评估代码库和改进推理策略的宝贵综合结果。

    Apr, 2024

  • 大语言模型的高效推论综述

    大规模语言模型的有效推理需要克服模型规模大、注意力操作复杂度高、自回归解码等问题，本文对提高大规模语言模型推理效率的现有技术文献进行了综述，介绍了数据层、模型层和系统层优化的方法，并通过实验进行了定量分析，最后总结了相关知识，并探讨了未来研究方向。

    Apr, 2024

  • 在测试时间计算中的最佳扩展比扩大模型参数更有效

    本研究解决了在大型语言模型（LLM）测试时间计算的规模问题，探讨如何利用固定的计算资源显著提高模型在复杂提示上的表现。论文提出了一种“计算最优”的扩展策略，能够根据提示的难度动态分配计算资源，经过验证，此策略比现有基准提高了超过4倍的计算效率，并在特定情况下超越了14倍大模型的性能。

    Aug, 2024

  • 大型语言模型的推理优化：影响、挑战与实践考虑

    本研究解决了大型语言模型在自然语言处理中的资源需求与复杂性问题，探讨了量化、剪枝、知识蒸馏等技术的应用。通过对这些优化方法的深入评估，揭示了它们的独特挑战及实际应用，并提供了一个优化方法的分类法，有助于理解该领域的研究方向。

    Aug, 2024