基于核岭回归的数据集元学习

ICLROct, 2020

Dataset Meta-Learning from Kernel Ridge-Regression

Timothy Nguyen, Zhourong Chen, Jaehoon Lee

TL;DR用 KIP 算法从大规模数据集中提取出适合于训练机器学习模型的小规模数据集且在保持模型性能的同时可以大幅减小数据集容量的同时可以实现隐私保护，该算法在 MNIST 和 CIFAR-10 的分类中获得了最先进的结果。

Abstract

One of the most fundamental aspects of any machine learning algorithm is the training data used by the algorithm. We introduce the novel concept of $\epsilon$-approximation of datasets, obtaining datasets which a

machine learning algorithm training data meta-learning algorithm dataset distillation neural network

发现论文，激发创造

使用随机特征逼近进行高效数据集蒸馏

提出了一种名为 RFAD 的基于随机特征近似的数据集蒸馏算法，该算法能够在维持较高准确性的同时，大幅加速了现有的数据集压缩算法，能够应用于大规模数据集上，并适用于如模型解释和隐私保护等任务。

Oct, 2022

关于蒸馏集合的大小和逼近误差

本文从理论角度探究基于核岭回归（KRR）的数据集精简方法，证明了在随机傅里叶特征空间中存在与原始数据解重合的一小组实例，利用这些实例可以生成 KRR 解，从而实现对完整输入数据的解近似优化。

May, 2023

来自数据的核学习到深渊的核流

通过基于先前指定的内核，采用数值逼近方法进行核函数选择 / 构造，从而探索构造非参数深度内核的解决方案，通过减半插值点的数量（使用与内核相关联的本征 RKHS 范数进行度量）而不会显着损失精度的简单前提来进行核函数选择。

Aug, 2018

通过非参数散度估计在样本集上的核函数

该论文提出了一种基于核函数的机器学习算法，可以通过对数据集的分组进行处理，采用独立同分布的样本集作为数据点，利用非参数估计器提取核函数特征从而实现多种分类、回归和异常检测等任务。

Feb, 2012

通过深度核进行少样本元学习的贝叶斯方法

使用深度核函数的贝叶斯元学习方法（DKT）可应用于小数据集问题，提供了多种优势，实验结果优于多种现有算法，并可将复杂的元学习程序替换为简单的贝叶斯模型。

Oct, 2019

用于顺序决策的元学习假设空间

本文提出了一种从离线数据（元学习）中元学习内核（Meta-KeL）的方法，以替代手动设计内核，解决了基于假设空间先验假设的置信度量（预测函数）的可靠性和适应性问题，并在基于内核的赌博机问题（Bayesian optimization）上进行了实证研究。

Feb, 2022

基于物理信息的机器学习作为内核方法

使用物理信息对经验风险进行正则化可以有利于估计器的统计性能。

Feb, 2024

混合线性回归的元学习

本篇研究了如何在少量标记数据的情况下进行监督学习，通过元学习来利用相似性，结合谱方法，提出了一种优雅的方法来充分利用小型数据集，只需适量的中型数据即可使大数量小标记数据的任务替代大数据任务。

Feb, 2020

使用无限宽的卷积神经网络进行数据集蒸馏

采用一种新的分布式基于核的元学习框架，使用无限宽的卷积神经网络，在数据集压缩中实现前沿的结果，通过对 MNIST，Fashion-MNIST，CIFAR-10，CIFAR-100 和 SVHN 等多个数据集的数据压缩进行初步分析，为数据如何与自然发生的数据不同提供了一些启示。

Jul, 2021

维度无关数据集近似及其在分类中的应用

本研究中，我们在核方法逼近 / 插值理论的一个特定背景下重新审视这一方法。我们定义了特殊函数作为数据信号用于解决监督分类问题，其有效性通过低维例子和高维 MNIST 数字分类问题的应用得到了证明。

Aug, 2022