Feb, 2024

基于聚类敏感性采样的数据高效学习：基础模型与扩展

PDF
TL;DR我们研究数据选择问题，将利用 $k$-means 聚类和敏感性抽样方法，基于模型损失的嵌入表示，可选择一组典型样本，其平均损失与整个数据集的平均损失相对应，具有可证明的性质，并且在微调基础模型上表现优于最先进的方法，同时展示了它如何应用于线性回归，提供了一个更简单且可扩展性更强的抽样策略。
data selectionmachine learning model$k$-means clusteringsensitivity samplingfine-tuning foundation models
发现论文，激发创造
  • 关于 $\ell_p$ 灵敏度抽样的更严格界限

    该研究对 $ell_p$ 子空间嵌入的灵敏度取样提供了新的理论边界，为许多具有小 $ell_p$ 灵敏度的结构矩阵提供了最佳已知的样本复杂度。

    Jun, 2023

  • 聚类的表示学习：一个统计框架

    本文提出一种协议，将用户提供的较小的数据样本进行聚类，并在此基础上建立一个数据表示方法，通过此方法学习聚类表征，并分析其统计样本复杂度，以及线性嵌入诱导的表征类的 VC 维，从而可以学习成功地学习具有有限 VC 维的表征类。

    Jun, 2015

  • 聚类大数据的收敛时间与准确度权衡

    研究在大型数据集上 k-means 和 k-median 聚类的理论和实际运行限制，通过快速压缩数据并在压缩表示上进行聚类，提供了有效聚类的理论和实践蓝图。

    Apr, 2024

  • 通过 L2 增强实现 Lp 敏感性采样的最优界限

    数据子采样是一种近似大规模数据集的自然方法，该论文提出了一种敏感性采样方法，并改进了子空间嵌入和逻辑回归中的采样复杂度。

    Jun, 2024

  • 一种基于加权 K-Center 算法的数据子集选择

    基于深度学习的子集选择方法，通过结合高不确定性的边缘采样和多样性聚类方法的加权和来计算子集，并通过并行算法在大数据集上取得了类似或更好的性能表现。

    Dec, 2023

  • 具有损失不确定性的样本选择及其在带噪声标签学习中的应用

    本研究提出了一种无标签学习的新方法，将区间估计引入了样本选择过程，以更好地探索未被充分选择的正确标注但看似贴错标签的较大损失数据和代表性差的数据，提高了误标噪声下的学习鲁棒性。

    Jun, 2021

  • 基础模型将聚类作为主动学习的更好初始化

    本研究提出了将基础模型与聚类方法相结合，用于选择主动学习初始化样本，实验证明这种方法可以有效地定位信息丰富的初始样本，从而提高模型性能。

    Feb, 2024

  • 可微分的深度聚类 + 聚类大小限制

    通过将 $k$-means 聚类算法重写为最优传输任务，并加入熵正则化，我们提出了一种全新的方法，其中嵌入是由深度神经网络执行的，表明与现有的基于软 $k$-means 的最新方法相比，我们的最优传输方法提供更好的无监督准确度，不需要预训练阶段。

    Oct, 2019

  • 从大到小的数据集：聚类算法选择的尺寸泛化

    在半监督环境中，通过引入聚类算法准确性的大小泛化概念，我们可以通过对较小的实例集进行评估，并保证在原始大型实例上具有最好准确性的算法也在小实例上具有最好准确性。

    Feb, 2024

  • 谱聚类的平均灵敏度

    通过对拉普拉斯特征值极小值的研究，以平均灵敏度为指标，探究了谱聚类方法对于边缘扰动的稳健性，研究结果表明，当输入图像存在簇结构时，谱聚类方法对于边缘扰动是稳定的。

    Jun, 2020