Jul, 2024

草图时刻匹配：用于快速和可证明的细调数据选择

HTML
PDF
TL;DR我们从基本角度重新审视现代环境下的数据选择问题，通过扩展低维度的方差最小化经典智慧到高维度的微调，我们的广义分析揭示了通过降低低秩逼近引起的偏差的重要性。受到理论上高维空间方差和偏差抵消的启发，我们引入了Sketchy Moment Matching（SkMM），这是一种可扩展的数据选择方案，包括两个阶段：（i）首先，使用梯度草图来控制偏差，探索微调参数空间中具有信息量的低维子空间S；（ii）然后，通过原始数据集和选择数据集之间的矩匹配来减少S上的方差。从理论上讲，我们证明了梯度草图的快速和可靠性：通过在S上减少方差来选择n个样本，可以保持快速的推广速率O（dim（S）/n），与参数维度无关。在经验上，我们通过合成实验明确了方差-偏差平衡，并展示了SkMM在实际视觉任务中微调的有效性。
发现论文，激发创造
  • 基于随机投影的素描重建: 一种可证明的用于大规模高维数据的恢复算法

    本文从优化的角度研究素描技术，提出了加速Hessian素描和双重随机投影的方法，并通过迭代对原始和对偶公式进行素描来解决大规模问题。在合成和真实数据集上进行了广泛的实验验证。

    Oct, 2016

  • 草图岭回归：优化视角、统计视角和模型平均

    本研究探讨了经典草稿和黑塞草稿用于解决矩阵Ridge回归问题的统计和优化影响，并发现模型平均可大大降低由于草稿造成的统计风险，从而迅速获得近乎最优的解决方案。

    Feb, 2017

  • 随机特征矩压缩统计学习

    本文提出了一种基于压缩统计学习的通用框架，通过将训练集压缩成一个捕捉到相关学习任务信息的低维矢量，进而通过非线性最小二乘问题计算出风险的近似最小值，并探讨了控制此过程的广义误差的足够描绘尺寸。该框架在压缩PCA，压缩聚类和已知固定方差的压缩高斯混合建模问题上得到了验证。

    Jun, 2017

  • 随机投影的精确表达式：低秩逼近与随机牛顿

    利用随机矩阵的谱分析最新进展，我们开发了一种新的技术，提供了随机投影矩阵的期望值的确切表达式，这些表达式可以用来表征多种常见的机器学习任务中的降维性能，包括低秩估计和迭代随机优化等。我们的结果适用于多种流行的草图方法，包括高斯和Rademacher草图，结果表明，我们推导出的表达式反映了这些草图方法的实际性能，甚至体现了较低阶效应和恒定因子。

    Jun, 2020

  • 数据减肥下的深度学习：在训练早期找到重要例子

    本文介绍了一种利用Gradient Normed (GraNd)和Error L2-Norm (EL2N)这两个简单的得分标准来识别深度学习中最重要的数据训练样本，并进行数据修剪以提高模型效果的方法，同时研究了数据分布对模型损失面的影响及模型中比较稳定的数据表示子空间等训练动态。

    Jul, 2021

  • Sketchy: 频率方向的内存高效自适应正则化

    通过使用Frequent Directions sketch低秩技术，可以减少维护矩阵预处理器的内存和计算量，并在多个大规模基准测试中展示出较好的内存-质量Pareto前沿。

    Feb, 2023

  • 学习CountSketch中的位置

    本文提出了优化稀疏矩阵的学习算法，通过优化矩阵中非零项的位置和值来实现低秩逼近、回归和二阶优化。

    Jun, 2023

  • 预训练模型选择在越界泛化与校准中的实证研究

    我们的研究强调了预训练模型在微调中对于处理分布外泛化性能和推理不确定性的影响，结果突出了预训练模型选择的显着影响，证明了在算法选择方面的性能提高，大型模型表现更好，但记忆化和真正泛化之间的平衡仍需进一步研究，我们的研究强调了预训练模型选择对于提高分布外泛化性能的重要性。

    Jul, 2023

  • 通过方差减少的草图进行非参数估计

    通过引入一种名为Variance-Reduced Sketching (VRS)的新框架，我们特别设计了一种在高维度中估计密度函数和非参数回归函数的方法，其降低了“维数灾难”的影响，并通过一系列模拟实验和实际数据应用展示了其在密度估计和非参数回归模型中相较于现有的神经网络估计器和经典核方法的显著改进。此外，我们为VRS提供了理论上的证明，支持其在降低维度灾难的同时提供非参数估计能力。

    Jan, 2024

  • 边界事关：一个双级主动微调框架

    我们提出了一个二阶段的主动微调框架，其中包括核心样本选择以增加多样性，以及边界样本选择以增加不确定性，通过在高维特征空间中识别伪类别中心、创新去噪方法和迭代策略，无需真实标签即可选择需要注释的样本，我们的综合实验证据量化地证明了我们的方法比现有基线表现更好。

    Mar, 2024