Mar, 2025
先过滤图像,再生成指令:用于视觉指令调优的预指令数据选择
Filter Images First, Generate Instructions Later: Pre-Instruction Data
Selection for Visual Instruction Tuning
TL;DR本研究解决了视觉指令调优(VIT)中生成指令的高成本问题,提出了一种新的数据选择方法——预指令数据选择(PreSel)。通过优先选择最具价值的未标记图像并仅对这些图像生成指令,PreSel在大幅减少计算开销的同时,能够在仅对15%的图像生成指令的情况下,实现与全数据VIT相当的性能。这一方法使得资源有限的用户能够有效创建定制应用的VIT数据集。