利用半自回归生成和草案验证的简化流程，提出的双向调整方法（BiTA）可加速大型语言模型（LLMs），使推理效率得到显著提高。
Jan, 2024
指令调优是一种改善大型语言模型对未知任务性能的有前途的方法。然而，当前的大型语言模型在面对未知指令时表现出有限的稳健性，当相同的指令以稍微变形或语言风格变化的形式表达时会生成不一致的输出。这种行为表明大型语言模型对文本变化的稳健性和对未见指令的泛化能力存在缺陷，可能引发不可靠性问题。基于此，我们提出了对比指令调优，该方法通过最大化语义上等效的指令实例对的隐藏表示之间的相似性，最小化不同语义的实例对之间的相似性。为了促进这一方法，我们通过改写任务指令来扩充现有的 FLAN 集合。在 PromptBench 基准测试上的实验证明，对比指令调优（CoIN）能够使大型语言模型在字符、词、句子和语义级别上对未知指令的稳健性得到持续提升，平均准确率提高了 2.5%。
Feb, 2024
本研究提出了 SciTune 框架，通过调整 Large Language Models，与科学学科，概念和目标相符合，提高 LLMs 的理解科学多模态指令的能力，并通过 ScienceQA 基准测试表明，与仅使用机器生成数据调整的模型相比，LLaMA-SciTune 在各个子类别上均优于人类表现。
Jul, 2023
通过双向的预训练策略，将神经机器翻译模型从'src -> tgt' 朝向'src + tgt -> tgt + src' 方向进行更新，成功地提升了神经机器翻译在 15 项任务上的表现，具有更好的双语对齐。
Sep, 2021
通过对自然语言指令模板中的 60 个自然语言处理任务进行调整，我们将一个 137B 预训练语言模型调整为 FLAN 并在未看见的任务数据上进行评估，结果表明，通过指令调整，可以大大改善它在未看见任务上的性能并在 20 个任务上超越了 175B GPT-3 的零样本性能。
本研究系统全面地研究了基于预训练系统的 BLIP-2 视觉语言模型的指导调整方法。通过构建 InstructBLIP 模型和使用指导语音特征提取，该模型在 13 个测试集上全面超越 BLIP-2 和更大的 Flamingo 模型，在单个下游任务的微调中获得了最先进的性能。
May, 2023
对于指令调优（IT）领域的研究进行了概述，它是增强和可控大型语言模型（LLMs）能力的关键技术。该研究系统回顾了 IT 的一般方法论、IT 数据集的构建、IT 模型的训练以及不同模态、领域和应用的应用，并分析了影响 IT 结果的因素（例如，指令输出的生成、指令数据集的大小等）。还审查了 IT 存在的潜在问题以及对其的批评，指出了现有策略的不足之处，并提出了一些有益的研究方向。
Aug, 2023
本文研究指令优化对增强模型转移学习和增强其在不同自然语言处理任务方面的效果，并表明在使用指令的预微调下，模型在单任务和多任务方面的性能都得到了提高。
通过参数高效调优，利用指令调整和多模态对齐的方法，本研究提出了一种新的通用视觉 - 语言模型训练方法 PETAL，其通过独特的模式近似技术，显著减少了训练成本和对重计算资源的依赖，并在语义深度方面进行了改进。实验证明，PETAL 在多个方面超越了现有最先进的方法，同时在少样本设置中也展现了出色的优势。
Dec, 2023
通过概率排名和上下文排名的方法对已调整过的模型进行微调，最终生成更好回复的模型称为 Tuna，能够优于强化学习基线模型，提高对各种任务的性能。
Oct, 2023