llama | BriefGPT - AI 论文速递

关键词llama

搜索结果 - 21

将 LLaMA 解码器调整为视觉 Transformer
该研究探讨了将原本为大型语言模型（LLMs）设计的仅解码器 Transformer（如 LLaMA）改编为适用于计算机视觉领域的可能性，并成功开发了一种名为 iLLaMA 的模型，具备高效计算能力和学习复杂表示的特点，达到了优秀的 Imag
PDFa month ago
使用大型语言模型生成的相关判定预测查询性能
使用自动生成的相关判断将查询性能预测 (QPP) 分解为独立的子任务，通过判断排名列表中每个项目与给定查询的相关性来预测信息检索评估度量，并利用领先的开源大型语言模型 LLaMA 来提高 QPP 质量。
PDF2 months ago
企业版预训练语言模型 Fine Tuning 指南与推荐
使用专有文件和代码从企业存储库中细调 LLMa LLMs，以评估响应质量，同时提供细调 LLM 的实用指导和建议。
PDF2 months ago
LongAgent: 通过多智能体协作将语言模型扩展至 128k 上下文
通过多智能体协作的方法，我们提出了一种名为 LongAgent 的方法，将大型语言模型（例如 LLaMA）的上下文窗口扩展到 128K，并在长文本处理方面展示了相对于 GPT-4 的潜在优势。LongAgent 中，一个领导者负责理解用户意
PDF3 months ago
学会高效：在大型语言模型中构建结构化稀疏性
使用 Learn-To-be-Efficient 算法能够实现大型语言模型的效率提升，通过激活较少神经元来获得更好的稀疏性和性能平衡，取得了较好的结果。
PDF3 months ago
大型语言模型：一份调查报告
对大型语言模型（LLMs）进行了综述，包括三个流行的 LLM 系列（GPT，LLaMA，PaLM）的特点、贡献和局限性，同时讨论了构建和增强 LLMs 的技术、为 LLM 训练、微调和评估准备的常用数据集以及常用的 LLM 评估指标，最后讨
PDF3 months ago
EMNLP生成和量化不太可能的文本：要爆发还是不要爆发
大型语言模型在文本生成方面具有极高的能力，但其输出仍可与人为生成的文本区分开。我们在文本、取样技术、文本数据类型和两个热门的大型语言模型（LLaMA 和 Vicuna）上探讨了这种区别，并提出了一种新的指标，可恢复性，用于凸显人工文本和机器
PDF4 months ago
SH2: 自我突出的犹豫帮助您更真实地解码
基于信息理论的事实，我们提出了一种推理时间方法 Self-Highlighted Hesitation (SH2) 来帮助大语言模型 (Large language models, LLMs) 更真实地解码，选择具有较低概率的标记，从而强制
PDF4 months ago
LLaMAntino: LLaMA 2 模型在意大利语文本生成中的有效应用
通过采用开放科学方法，研究探索了各种调整方法，以确保在原始模型数据集中不常见的意大利语适用于许多任务的高质量意大利语生成模型，为意大利语的语言适应策略贡献了 LLaMAntino 意大利语 LLM 家族的创新。
PDF5 months ago
超越表面：探测不同尺度和层级的 LLaMA
本文详细分析了大型语言模型（LLMs），重点关注自然语言处理中一种重要的开源基础模型 LLaMA。通过设计选择题任务来评估 LLaMA 在高阶任务（如推理和计算）中的内在理解能力。我们水平对比不同大小的模型，垂直评估不同层次的模型，并揭示了
PDF5 months ago
剪枝加速的 LLaMA：通过结构化剪枝加快语言模型预训练
利用结构修剪技术从预训练的大型语言模型生成更小但功能强大的语言模型。这项工作通过展示 Sheared-LLaMA 系列，在仅使用相当于从头训练这些模型所需计算量的 3％的情况下，将 LLaMA2-7B 模型修剪为 1.3B 和 2.7B 参
PDF7 months ago
标签监督的 LLaMA 微调
本文介绍了一种基于标签监督的适应大语言模型（LLMs）的方法，通过从 LLMs 提取潜在表示并将其投影到标签空间计算交叉熵损失来微调模型。在各种下游任务中，该方法显著优于比其十倍规模的 LLMs 以及其他强大的基线模型如 BERT-Larg
PDF8 months ago
QIGen：大型语言模型量化推理的高效内核生成
我们提出了一种自动代码生成的新方法，用于支持 LLMs（如 LLaMA 或 OPT）上的量化生成推理，并在现成的 CPU 上做了研究，结果表明我们的方法在性能和准确性方面较好。
PDF10 months ago
语音识别中零 - shot 领域调适的大型语言模型启发
本文介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法，这两种方法可以通过一个领域特定的文本提示有效地减少跨领域 TedLium-2 和 SPGISpeech 数据集上的词错误率（WER），特别是，深度 LLM-fusion 具有更
PDFa year ago
大型语言模型的简单有效剪枝方法
本文介绍了一种名为 Wanda 的裁剪方法，旨在在无需微调或权重更新的情况下诱导预训练 LLMs 的稀疏性，并在 LLaMA 上进行全面评估，实验证明 Wanda 在各种语言基准测试中显著优于基线剪枝方案，并与涉及大量权重更新的最近方法竞争
PDFa year ago
利用语言模型进行认证推理
该论文介绍了一种名为 LogicGuide 的工具，通过设置有状态和增量约束来指导语言模型的理性推理，即模型在这个指导下生成的内容是合理的。经过测试，LogicGuide 工具有效地提高了 GPT-3、GPT-3.5 Turbo 和 LLa
PDFa year ago
BigTrans：通过超过 100 种语言的多语种翻译能力增强大型语言模型
本研究提出了 BigTrans，它基于 LLaMA-13B 模型，并通过三个步骤对其进行优化，使其在超过 100 种语言上具备多语翻译能力，初步实验表明，BigTrans 在多种语言上的表现与 ChatGPT 和 Google Transl
PDFa year ago
针对特定场景的 LLaMa 多任务指令调节：一项关于写作辅助的初步研究
本文研究了使用指令驱动数据 fine-tune 的 LLMa 模型在写作场景下的性能，结果表明持续地使用写作数据对 LLMa 进行微调，可以显著提高它在写作任务上的表现，并为未来 LlMa 在特定场景中的微调提供了洞见。
PDFa year ago
LLaMA-Adapter: 使用零初始化注意力对语言模型进行高效微调
LLaMA-Adapter 是一种轻量级的适应方法，用于高效地对 LLaMA 进行微调，该方法采用一个可学习的适应提示集，将其插入到输入文本标记中的高级 transformer 层中，并提出一种有效地保留其预训练知识的零启动注意机制，以改进
PDFa year ago
LLaMA：开放高效的基础语言模型
介绍了 LLaMA，包含 7B 至 65B 个参数的基础语言模型，使用公开可用的数据集训练，其中 LLaMA-13B 在大多数基准测试中优于 GPT-3（175B），LLaMA-65B 等模型与最佳模型 Chinchilla-70B 和 P
PDFa year ago