ICMLJun, 2020

使用变分随机特征学习学习内核

PDF
TL;DR本文介绍了 MetaVRF，在元学习框架中引入随机傅里叶特征内核，利用它们强大的少样本学习能力。通过将随机特征基作为潜变量，我们提出了 MetaVRF 来学习自适应基学习器的内核。我们将 MetaVRF 的优化规定为一种变分推断问题，通过在元学习框架下推导证据下限。通过一个 LSTM 结构建立后验的上下文推断，以整合先前任务的上下文信息和任务特定信息，生成信息丰富且自适应的特征。实验结果表明，MetaVRF 在各种少样本回归和分类任务中的表现要好得多，或者至少与现有的元学习方法相媲美。
metavrfkernelsmeta-learningfew-shot learningadaptive features
发现论文，激发创造
  • 斯坦随机特征回归

    在大规模回归问题中，通过通过定义核函数的谱密度，利用 Monte Carlo 抽样生成有限的样本集合以形成近似的低秩高斯过程（GP），随机 Fourier 特征（RFFs）显著提高了 GP 的计算可扩展性和灵活性。然而，RFFs 在核逼近和贝叶斯核学习中的有效性取决于能否轻松地采样核谱测度并生成高质量的样本。我们引入 Stein 随机特征（SRF），利用 Stein 变分梯度下降，可以用于生成已知谱密度的高质量 RFF 样本，以及灵活高效地近似传统上非分析的谱测度后验。SRFs 只需要评估对数概率梯度，即可同时进行核逼近和贝叶斯核学习，从而在传统方法上实现更好的性能。通过将其与基准模型在核逼近和众所周知的 GP 回归问题上进行比较，我们经验证明了 SRF 的有效性。

    Jun, 2024

  • 变分推断在模型无关元学习中的不确定性

    本文提出了一种新的、严谨的贝叶斯元学习算法，用于学习少样本学习的模型参数先验的概率分布。该算法采用基于梯度的变分推断来推断模型参数的后验分布。我们展示了使用我们提出的元学习算法训练的模型具有良好的校准和准确性，在两个少样本分类基准测试（Omniglot 和 Mini-ImageNet）上取得了最新的校准和分类结果，并在多模式任务分布回归中获得了有竞争力的结果。

    Jul, 2019

  • 随机傅里叶特征的误差

    本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

    Jun, 2015

  • 元模调制：学习变分特征层次结构，用于更少任务的少样本学习

    本文提出了一种名为 MetaModulation 的方法，在元训练过程中使用神经网络调制批量归一化参数，以提高元训练任务的密度，并通过改变不同层面的参数来增加任务的多样性，同时提出了利用变分 MetaModulation 学习变分特征层级的方法，能够考虑任务不确定性和生成更多样的任务，结果表明 MetaModulation 和其变分变体在四个 few-task meta-learning 基准测试中都优于现有技术。

    May, 2023

  • 混合随机特征

    提出了一种新的混合随机特征 (HRFs) 类用于线性化 Softmax 和高斯核，通过波谷转换并利用随机特征来提供更精确的核估计，具有较强理论保证，经过实证评估，在点核估计实验中获得了好的结果，同时还能应用在数据聚类以及机器学习下游应用中。

    Oct, 2021

  • 基于随机傅里叶特征的贝叶斯非线性潜变量建模

    提出一种新的方法，用于一般化贝叶斯非线性潜在变量建模，通过使用随机傅里叶特征来逼近高斯过程映射中的核函数，从而将 GPLVM 推广至泊松、负二项和多项分布等情况，并通过随机特征潜变量模型（RFLVM）对广泛的应用进行评估，结果表明该算法在复杂数据集的潜在结构和数据填充方面表现出着与现有先进算法相当的实用性。

    Jun, 2023

  • 用随机特征驯服图核函数

    本文介绍了图随机特征（GRFs）的机制，并对其进行了理论和实证分析。GRFs 可以用于构建基于图节点定义的多个重要核函数的无偏随机估计器。相比传统的图核函数算法，GRFs 具有显著的计算性能。此外，GRFs 还提供了一种简单的分布式算法以及其改进版本 q-GRFs 来优化 GRFs 的方差，尤其适用于解决具有正对称矩阵的线性方程组。

    Apr, 2023

  • 非随机特征

    本文提出一种基于 Fourier 分析的方法，用于训练翻译不变或旋转不变的核，并通过一种在线平衡找到动态算法来解释我们的算法，并在合成和现实世界数据集上进行评估，证明了扩展性和与相关随机特征方法相比的一致改进。

    Oct, 2017

  • 基于核随机特征的大规模非线性变量选择

    本文提出了一种新的非线性回归输入变量选择的方法，这种方法嵌入到一个可以模拟一般非线性函数的核回归机器中，而不是局限于加性模型。通过将输入映射到随机特征的相对低维空间中，绕过了核方法典型的低伸缩性属性。通过学习适当的非线性随机特征映射，该算法发现了与回归任务相关的变量，并学习了预测模型。我们在一组大规模合成和实际数据集上展示了我们的方法的出色性能。

    Apr, 2018

  • 深度结构化模型学习

    此研究旨在将马尔可夫随机场与深度学习相结合，提出了一个训练算法，可以学习结构化模型和深度特征，以提高多个随机变量的预测性能。该算法在预测词汇和图像多分类上均具有重要的性能提高。

    Jul, 2014