Feb, 2024
MAGDi: 多智能体交互图的结构化蒸馏提升较小语言模型的推理能力
MAGDi: Structured Distillation of Multi-Agent Interaction Graphs Improves Reasoning in Smaller Language Models
Justin Chih-Yao Chen, Swarnadeep Saha, Elias Stengel-Eskin, Mohit Bansal
TL;DR通过多个大型语言模型之间的多智能体交互，结构化蒸馏途径（MAGDi）通过将多智能体交互表示为图形、通过图形编码器增强基础学生模型，并使用三个目标函数进行知识蒸馏，即下一个标记预测、正确和错误推理之间的对比损失以及基于图形的目标函数。对七个广泛使用的常识和数学推理基准进行的实验证明，MAGDi 提高了较小模型的推理能力，表现优于从单个教师和多个教师进行蒸馏的几种方法。此外，MAGDi 还比其教师高出数量级的效率。我们进行了广泛的分析，显示 MAGDi（1）增强了对域外任务的泛化能力，（2）与基础学生模型的大小和强度正相关，（3）在应用自一致性的多教师训练方面取得了更大的改进，后者是一种依赖于模型多样性的推理技术。