元学习更新规则用于无监督表示学习

Mar, 2018

元学习更新规则用于无监督表示学习

Meta-Learning Update Rules for Unsupervised Representation Learning

Luke Metz, Niru Maheswaranathan, Brian Cheung, Jascha Sohl-Dickstein

TL;DR本研究旨在提出一种元学习的无监督学习规则并与神经元 - 本地函数相结合，以使其能够推广到不同的神经网络体系结构，数据集和数据模态，并基于半监督分类性能来生成用于下一阶段任务的表示。实验结果表明，元学习的无监督学习规则能够产生有用的特征，甚至优于现有的无监督学习技术。

Abstract

A major goal of unsupervised learning is to discover data representations that are useful for subsequent tasks, without access to supervised labels during training. Typically, this involves minimizing a surrogate objective, such as the negative log likelihood of a generative model, wit

unsupervised learning meta-learning semi-supervised classification neuron-local function generalization

发现论文，激发创造

元学习式的无监督学习

该篇研究通过无监督元学习方法，利用自动构建的任务，从无标记数据获取表征，并应用于多种下游分类任务中，相对于其他四种无监督学习方法的表征学习，显示出更好的性能。

Oct, 2018

无监督表示学习辅助半监督元学习

通过一次性无监督元学习方法，利用增强样本作为查询集来学习训练样本的潜在表示，并通过温度缩放的交叉熵损失在元学习的内循环中防止过拟合。该方法是模型无关的，能够提高任何元学习模型的准确性，并通过在初始化和快速调适阶段采用目标有监督元学习的方式，在 Omniglot 和 mini-Imagenet 数据集上展示了该方法的性能。此外，具备该初始化的元学习模型可以在较少的训练样本下达到令人满意的准确性。

Oct, 2023

无监督元学习强化学习

本研究提出了一系列用于强化学习的无监督元学习算法，以解决通过任务提案进行任务训练而非手动任务设计所带来的算法设计负担，并得出这些程序具有优异性能的结论。

Jun, 2018

半监督式学习中的学习

本文提出了一种基于元学习的半监督学习方法，将有标签和无标签数据的相似度转化为对应的语义相似度，并通过自监督学习的方法实现了对有标签数据的更新。实验证明该方法较之传统方法更为有效。

Aug, 2020

走向无监督表示学习：学习、评估和传递视觉表示

无监督表示学习、卷积自组织神经网络、评估协议、表示传输、图像到图像转换

Nov, 2023

可证明的线性表示元学习

本文提出了一种基于 Meta-learning 的多任务线性回归算法，该算法能够通过低维线性表示快速学习多个相关任务，同时将这些知识传递到新的未见过的任务中，并提供了信息论下限，证明了该算法的高效性。

Feb, 2020

发掘模型潜力：引导式元自监督学习

我们提出了一种新颖的自举元自我监督学习（BMSSL）框架来模拟人类学习过程，实现从少量无监督数据中学习一般视觉表征的长期目标。

Aug, 2023

走向生物学可行的深度学习

本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

Feb, 2015

无监督表示学习的最小变化

本文旨在讨论无监督学习中的表征学习，包括流形学习、扩散映射和自监督学习等技术，并探索在稠密区域内最小变化作为无监督表征学习的指导原则，这为自监督学习算法提供了更好的实践指南。

Nov, 2022

本地可塑性规则可使用自监督对比预测学习深度表征

这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则，使用局部，赫布规则进行权重更新，并具有深度分层的图像、语音和视频表示。

Oct, 2020