我们提出了一种方法，通过在标记级别交替生成来教授多个大型语言模型（LLM）进行协作。我们将下一个标记由哪个 LLM 生成的决策建模为潜在变量。通过在潜在变量模型下优化训练集的边际似然，基础 LLM 自动学习何时生成自己，并在需要时调用其中一个 `` 助理 '' 语言模型进行生成，无需直接监督。解码过程中的标记级别协作允许以适应特定任务的方式融合每个模型的专长。我们的协作解码在跨领域设置中特别有用，其中广义的基础 LLM 学习调用领域专家模型。在指令遵循、领域特定问答和推理任务中，我们展示了联合系统的性能超过各个模型。通过对学习到的潜在决策进行定性分析，我们展示了使用我们方法训练的模型呈现了几种有趣的协作模式，例如模板填充。我们的代码可在此 URL 找到。

Mar, 2024

大型语言模型 (LLMs) 具备令人印象深刻的自然语言处理能力，但存在虚构结果的问题。最近的研究关注于解码技术，通过利用 LLMs 的分层表示技术及在推理过程中操纵预测分布，提高真实性。本文通过超出最后一层的关键标记概率外推和基于层次熵的下层选择，解耦选择过程与最后一层之间的关系，实验结果显示非常好的性能，并在多个数据集上大幅领先，分析结果表明不同类型的提示需要不同的选择策略。

Apr, 2024

通过对 pre-trained large language models 进行 factual-aware SFT 和 factual-aware RL 的直接优化，使其在保持指令遵循能力的同时，输出更多真实的回应。

May, 2024

通过利用外部知识库的一致性或大模型的置信度，以及直接优化算法，我们在不需要人工标注的情况下，对语言模型进行微调，明显提高了生成候选项的正确性，并比对准确性进行了目标定向的 RLHF 和解码策略有显著改善。

Nov, 2023

通过利用翻译句子对齐内部句子表示，并通过回答不同语言的提示问题对齐模型输出，我们提出了一个简单而有效的对齐框架，显著增强了生成模型的跨语言能力并减小了性能差异。进一步分析表明，它导致了更好的多语言模型的内部多语言表示分布。

Nov, 2023

本文分析生成模型的训练动态，特别是聚焦于总结的方面，并研究了不同阶段的训练过程中模型学到的东西，通过简单的训练修正可以实现不同目标，比如提高事实性和提高抽象程度。

Oct, 2021

该论文提出了一种名为 CraFT 的协作微调方法，用于将黑盒预训练视觉语言模型应用于下游任务，通过仅获得输入提示和输出预测来优化模型，并在少样本分类上展示出显著的结果。

Feb, 2024

本文提出了一种多任务对比学习框架（SciMult），采用任务感知分化技术和指令调整技术，在多种科学文献的理解任务中优于现有科学语言模型。

May, 2023

通过对比模型的不同层次的逻辑概率分布，通过一个简单的解码策略来减少大语言模型中的幻觉，并提高生成真实、准确事实的能力。

Sep, 2023

本文提出了一个无幻觉的框架，以序列标记为例，该框架非常适用于蒸馏，追求计算效率的蒸馏方法有望从这些大模型获得的知识中获益，并在多个序列标记数据集上展现了新的卓越表现，证明了这个框架在少量数据学习场景下进行大模型蒸馏的有用性。

Feb, 2023