Jul, 2024
草图时刻匹配:用于快速和可证明的细调数据选择
Sketchy Moment Matching: Toward Fast and Provable Data Selection for
Finetuning
TL;DR我们从基本角度重新审视现代环境下的数据选择问题,通过扩展低维度的方差最小化经典智慧到高维度的微调,我们的广义分析揭示了通过降低低秩逼近引起的偏差的重要性。受到理论上高维空间方差和偏差抵消的启发,我们引入了Sketchy Moment Matching(SkMM),这是一种可扩展的数据选择方案,包括两个阶段:(i)首先,使用梯度草图来控制偏差,探索微调参数空间中具有信息量的低维子空间S;(ii)然后,通过原始数据集和选择数据集之间的矩匹配来减少S上的方差。从理论上讲,我们证明了梯度草图的快速和可靠性:通过在S上减少方差来选择n个样本,可以保持快速的推广速率O(dim(S)/n),与参数维度无关。在经验上,我们通过合成实验明确了方差-偏差平衡,并展示了SkMM在实际视觉任务中微调的有效性。