本文提出了一种压缩学习框架，通过数据的限制集来估计模型参数，并演示了该方法在高斯混合模型和说话人验证任务中的成功应用，以及它与随机特征的近似希尔伯特空间嵌入方法之间的联系。

Jun, 2016

本文提出了一种压缩版本的 K-means 聚类方法 CKM，并通过实验证明，当采用与聚类中心数量和维度成比例的草图大小时，CKM 的聚类效果与 Lloyd-Max 相当，但计算复杂度与数据集大小无关，并且不需要多次重复运行，同时可以实现更好的手写数字分类效果。

Oct, 2016

本论文探讨了利用光学处理单元（OPU）计算随机傅里叶特征来进行草图处理，并将整个压缩聚类流程调整到该设置。我们还提出了一些工具来帮助调整压缩聚类的关键超参数。

Jun, 2022

本文提出了一种基于压缩统计学习的通用框架，通过将训练集压缩成一个捕捉到相关学习任务信息的低维矢量，进而通过非线性最小二乘问题计算出风险的近似最小值，并探讨了控制此过程的广义误差的足够描绘尺寸。该框架在压缩 PCA，压缩聚类和已知固定方差的压缩高斯混合建模问题上得到了验证。

Jun, 2017

该论文介绍了一种称为 “sketching” 的数据压缩技术，该技术通过随机投影将大型数据集压缩成较小的替代数据集，然后进行统计分析，该方法特别适用于大规模的线性回归问题。

Jun, 2017

本文介绍了一种随机化方案，名为 Sketch-SC，它是一种针对高维大容量数据的 SC 的加速计算方法，通过使用随机投影来压缩数据矩阵以实现快速而准确的大规模 SC。在实际数据上的性能分析及广泛的数值测试证实了 Sketch-SC 的潜力和与最先进的可扩展的 SC 方法相比的竞争性能。

Jul, 2017

提出了一种内存高效的 Differentiable KMeans Clustering 实现，eDKM，通过新技术降低 DKM 的内存占用量，成功将预训练的 LLaMA 7B 模型从 12.6 GB 压缩到 2.5 GB，并在广泛的 LLM 基准测试中提供良好的准确性。

Sep, 2023

本文提出了优化稀疏矩阵的学习算法，通过优化矩阵中非零项的位置和值来实现低秩逼近、回归和二阶优化。

Jun, 2023

该研究使用基于矩阵草图的方法来解决在大规模图分析中传统方法遇到的挑战，尤其是无监督学习的社区结构划分问题，实验表明该方法在分配内存中可以获得出色的聚类效果，同时提高了聚类速度。

Jul, 2020

现代压缩方法可以比独立同分布采样更简洁地概括目标分布 P，但需要访问低偏差输入序列，例如迅速收敛到 P 的马尔可夫链。我们介绍了一套适用于带偏差输入序列压缩的新型压缩方法。在给定 n 个针对错误分布的点和二次时间的情况下，Stein Kernel Thinning (SKT) 返回具有对 P 的最大平均误差 (MMD) 为 O (n^{-1/2}) 的√n 个等权重点。对于更大规模的压缩任务，Low-rank SKT 使用自适应的低秩去偏过程以次二次时间实现相同的效果，该过程可能是独立感兴趣的。对于支持单纯或保持常量权重的下游任务，Stein Recombination 和 Stein Cholesky 具有更大的简洁性，可以与最少的 poly-log (n) 个加权点的 SKT 保证相匹配。这些进展的基础是关于单纯加权负样本集的新保证，核矩阵的谱衰减和 Stein 核希尔伯特空间的覆盖数。在我们的实验中，我们的技术提供了简洁准确的后验总结，同时克服了因预烧、近似马尔可夫链蒙特卡罗和淬火而产生的偏差。

Apr, 2024