Sep, 2024
Align$^2$LLaVA：用于多模态指令策划的人类与大型语言模型偏好对齐的级联方法
Align$^2$LLaVA: Cascaded Human and Large Language Model Preference
Alignment for Multi-modal Instruction Curation
TL;DR本研究解决了多模态大型语言模型（MLLM）数据质量变异性的问题，通过提出一种新颖的指令策划算法，将人类与LLM的偏好对齐。研究显示，通过优化指令数据集，我们能将训练样本数量从158k减少到14k，同时在各种MLLM基准上表现优于使用全量数据集的模型，从而显著提高系统的效率和效果。