LLM 性能预测模型为架构搜索提供良好初始值

Oct, 2023

LLM 性能预测模型为架构搜索提供良好初始值

LLM Performance Predictors are good initializers for Architecture Search

Ganesh Jawahar, Muhammad Abdul-Mageed, Laks V. S. Lakshmanan, Dujian Ding

TL;DR使用大型语言模型构建性能预测模型，并在机器翻译和神经架构搜索领域展示出优越的性能，同时提出基于大型语言模型的性能预测模型进行性能估计，以及一种基于混合搜索算法的神经架构搜索方法，通过这些方法可以显著降低搜索时间并改善性能指标。

Abstract

large language models (LLMs) have become an integral component in solving a wide range of NLP tasks. In this work, we explore a novel use case of using LLMs to build performance predictors (PP): models that, give

large language models performance predictors machine translation neural architecture search hybrid-search algorithm

发现论文，激发创造

基于 LLMs 的贝叶斯统计建模

利用贝叶斯统计模型，研究了大型语言模型（LLMs）在人类行为预测方面的类人特性，发现 LLMs 不能准确捕获人类数据的各项细节，但在聚合和条件水平的预测方面可以有效适配人类数据，显示出某些不同的方法可以使其得到充分的分布式预测。

Jun, 2024

大型语言模型的心理测量预测能力

语言模型的下一个词概率已成功模拟了人类阅读行为。然而，在此基础上的研究表明，为了提供人类首选回答而进行的指导调整反而降低了大型语言模型在计算心理语言学视角下的心理测量预测能力。此外，使用特定语言学假设的提示方法仍然不如基础语言模型，暗示最近的指导调整和提示方法在认知建模中无法提供比基础语言模型更好的估计。

Nov, 2023

通过准确度预测器修剪大型语言模型

基于新的剪枝方法与准确度预测模型，本研究提出一种能够自动选择最佳模型的压缩方法，实验证明其有效性和高效性。相较于基准模型，Wikitext2 和 PTB 上的困惑度分别降低了 9.48% 和 5.76%，而平均 MMLU 准确度提高了 6.28%。

Sep, 2023

ProxyLM：通过代理模型预测多语言任务上的语言模型性能

ProxyLM 是一种可扩展的框架，通过使用代理模型在多语言任务中预测语言模型性能，减少与模型容量和微调数据相关的计算成本，大大降低了任务评估的计算负荷，同时展示了适应预训练语言模型中以前未见过的语言，提高了性能，并通过简化模型选择实现了高效部署和迭代式语言模型增强。

Jun, 2024

LLM 过程：基于自然语言的数值预测分布

构建能够处理数字数据并根据自然语言文本进行概率预测的回归模型，以整合先前的知识和信念，提高预测性能并给出定量结构。

May, 2024

利用相關的靜態分析產品改進少樣本提示

本文研究了是否通过显式添加语义信息来改善大型语言模型在代码汇总任务中的性能，发现通过添加语义信息可以显著提高模型性能，特别是在 PHP 语言的 CodeSearchNet 数据集上。

Apr, 2023

利用性能预测加速神经架构搜索

本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法，并证明该方法在视觉分类和语言建模领域中是有效的。同时，我们提出了一种早期停止方法，可用于超参数优化和元模建模，加速了模型配置的优化过程，该方法在强化学习 - based 架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。

May, 2017

LLM-Select：大型语言模型的特征选择

通过实验结果表明，大型语言模型（LLMs）在无需查看训练数据的情况下，可准确选择预测特征，在各种查询机制下具备与数据科学标准工具相媲美的性能，这对于特征选择和数据收集至关重要。

Jul, 2024

大型语言模型的协同性能预测

通过利用历史性能和其他设计因素，我们引入了一种新的框架 Collaborative Performance Prediction (CPP) 来显著提高性能预测准确性，该框架不仅超越了传统的缩放法则在预测扩展 LLMs 的性能方面，还促进了对因素重要性的详细分析，在 NLP 研究中全面理解和准确预测大规模语言模型在各种下游任务中的表现已成为一个关键性的挑战。

Jul, 2024

大规模语言模型的前额叶皮质启发式规划结构

通过人脑与 GPT-4 模块的互动，该研究提出了一个黑盒架构，利用认知神经科学的知识来改进 LLMs 的规划能力，从而在多步推理和目标导向规划等任务中取得了显著的改善。

Sep, 2023