LLaMA-Excitor：通过间接特征交互进行通用指令调优

CVPRApr, 2024

LLaMA-Excitor：通过间接特征交互进行通用指令调优

LLaMA-Excitor: General Instruction Tuning via Indirect Feature Interaction

Bo Zou, Chao Yang, Yu Qiao, Chengbin Quan, Youjian Zhao

TL;DRLLaMA-Excitor 是一种基于轻量级方法的 LLMs 细调技术，通过逐渐更多地关注值得重视的信息，实现对指令的更好遵循，并保持 LLMs 的预训练知识。此方法在低质量指令遵循数据集的 LLMs 细调中表现出自适应分配额外关注的能力，并能在复杂的多模态对齐需求下将其扩展为强大的视觉指令跟踪器。我们的方法在仅语言和多模态调优实验场景中进行评估，以 MMLU 基准测试为例，LLaMA-Excitor 是唯一保持基本能力且实现显著改进（+6%）的方法。在视觉指令调优方面，我们在 MSCOCO 上实现了 157.5 CIDEr 的最新成果，并在 ScienceQA 上获得了与基于更多参数和广泛视觉语言相关模型相当的性能（88.39%）。

Abstract

Existing methods to fine-tune llms, like Adapter, Prefix-tuning, and LoRA, which introduce extra modules or additional input sequences to inject new skills or knowledge, may compromise the innate abilities of llms

llms fine-tuning llama-excitor instruction-following datasets visual instruction tuning

发现论文，激发创造

LLaMA-Adapter: 使用零初始化注意力对语言模型进行高效微调

LLaMA-Adapter 是一种轻量级的适应方法，用于高效地对 LLaMA 进行微调，该方法采用一个可学习的适应提示集，将其插入到输入文本标记中的高级 transformer 层中，并提出一种有效地保留其预训练知识的零启动注意机制，以改进 LLaMA 的性能。

Mar, 2023

标签监督的 LLaMA 微调

本文介绍了一种基于标签监督的适应大语言模型（LLMs）的方法，通过从 LLMs 提取潜在表示并将其投影到标签空间计算交叉熵损失来微调模型。在各种下游任务中，该方法显著优于比其十倍规模的 LLMs 以及其他强大的基线模型如 BERT-Large 和 RoBERTa-Large。此外，通过从解码器中移除因果掩码，LS-unLLaMA 在命名实体识别（NER）中实现了最先进的性能。

Oct, 2023

LLaMA-Adapter V2: 参数高效的视觉指令模型

本文介绍 LlaMA-Adapter V2，是一种解锁更多可学习参数并引入早期融合策略、共同训练数据的参数高效视觉指令模型，可用于多模态推理，对于开放式的视觉指令，具有更强的泛化能力。

Apr, 2023

使用顺序指令对大型语言模型进行微调

大语言模型（LLMs）在单个查询中难以遵循一系列指令，从而可能忽略或错误解释其中的一部分，这影响了它们在需要多个中间步骤的复杂问题（例如多语言（翻译然后回答）和多模态（字幕然后回答）任务）中的性能。我们通过使用开源 LLMs（如 LLaMA-2 70B 和 Mixtral-8x7B）进行实证验证。针对当今数据中顺序指令的稀缺性，我们提出了顺序指令调整，这是一种简单而有效的策略，用于自动增加指令调整数据并赋予 LLMs 执行多个顺序指令的能力。通过探索 Alpaca 等现有数据集中的交替指令和各种中间任务，我们发现，顺序指令调整模型在涉及推理、多语言和多模态能力的下游任务中始终优于传统的指令调整基线。为了进一步阐明我们的技术，我们分析了敌对中间文本、未见任务、提示语言的表达、任务数量和提示长度对顺序指令调整的影响。我们希望这种方法能为复杂任务的指令调整开辟新的研究途径。

Mar, 2024

通过启用中间层解码加速 LLM 推理

我们的研究工作通过指令调整大型语言模型的推理过程，提升其效率同时保持生成质量，这是推广应用这类模型的重要一步。

Oct, 2023

针对特定场景的 LLaMa 多任务指令调节：一项关于写作辅助的初步研究

本文研究了使用指令驱动数据 fine-tune 的 LLMa 模型在写作场景下的性能，结果表明持续地使用写作数据对 LLMa 进行微调，可以显著提高它在写作任务上的表现，并为未来 LlMa 在特定场景中的微调提供了洞见。

May, 2023

构建准确的基于翻译的语言感知 LLMS 的指导调优

通过两阶段微调算法，改进了大型语言模型（LLMs）遵循翻译指示的能力，特别是翻译方向信息，从而有效降低了错位翻译比率（平均降低 53.3%），提高了翻译质量（平均增加 5.7 SacreBLEU 和 16.4 BLEURT）。

Mar, 2024

Cheap and Quick: 大型语言模型高效的视觉语言指导调整

本研究提出了混合模态适应方法（MMA），它采用轻量级的适配器模块来搭建 LLMs 和 VL 任务之间的桥梁，实现图像和语言模型的联合优化，同时具有自适应切换单模和多模指令的功能。该方法被应用于 LaBIn 大型视觉语言指导模型，并在两种场景下进行了实验验证，表明其训练效率和性能竞争力均优于现有多模 LLMs，且具有成为通用聊天机器人的潜力。

May, 2023

将 LLaMA 解码器调整为视觉 Transformer

该研究探讨了将原本为大型语言模型（LLMs）设计的仅解码器 Transformer（如 LLaMA）改编为适用于计算机视觉领域的可能性，并成功开发了一种名为 iLLaMA 的模型，具备高效计算能力和学习复杂表示的特点，达到了优秀的 ImageNet 数据集准确率。

Apr, 2024

SCITUNE：使用科学多模式指令对齐大型语言模型

本研究提出了 SciTune 框架，通过调整 Large Language Models，与科学学科，概念和目标相符合，提高 LLMs 的理解科学多模态指令的能力，并通过 ScienceQA 基准测试表明，与仅使用机器生成数据调整的模型相比，LLaMA-SciTune 在各个子类别上均优于人类表现。

Jul, 2023