Nov, 2018

使用分解特征表示改进抽象推理任务的泛化能力

PDF
TL;DR本研究探究了利用解缠 VAE 学习一组从渡鸦渐进矩阵派生而来的关系推理问题的有用潜在空间的无监督表示学习的泛化特性，并显示出通过正确的目标函数使用无监督训练学习的潜在表示显着优于仅使用监督学习训练的相同体系结构，尤其是在泛化方面。
发现论文，激发创造
  • 分解表示对抽象视觉推理有帮助吗？

    本文通过大规模研究提供证据，证明在使用类似 Raven 渐进矩阵这样的抽象推理任务时，多个无监督的去卷积模型学到的分解表示模型比其他模型能够更快地学习并使用更少的样本，从而实现更好的下游性能表现。

    May, 2019

  • 学习解缠离散表示

    通过将标准的高斯变分自编码器（VAE）替换为量身定制的分类变分自编码器，我们探究了离散潜变量空间与解耦表示之间的关系。我们展示了分类分布的基础网格结构可以减轻与多变量高斯分布相关的旋转不变性问题，并作为解耦表示的高效先验。我们提供了分析和经验证据表明，离散 VAE 在学习解耦表示方面的优势。此外，我们引入了第一个偏向于解耦表示的无监督模型选择策略。

    Jul, 2023

  • 逐步学习和分离层次表示

    通过渐进式学习独立层级表示，本文提出了一种策略来提高 Deep Generative Models 如 Variational Auto-Encoder 的去纠缠性能，该模型从最抽象的表示开始学习，并逐渐增加网络结构以介绍不同层次的表示。在两个基准数据集上，本文通过三个去纠缠度量定量地证明了所提出模型相比于现有作品的改进，包括我们提出的补充相互信息差度量。我们提供了定性和定量的证据，论证了学习进程如何提高分解成层级表示的性能。本文通过同时利用层级表示学习和渐进式学习的优势，是我们目前发现的第一次尝试通过逐步增加 VAE 的能力来提高去纠缠性。

    Feb, 2020

  • 半监督深度生成模型学习分离表示

    该研究提出了一种使用图形模型和深度神经网络架构的变分自编码器，能够学习到不同的表示形式，进一步实现半监督学习，其生成的能力和区分能力也得到了充分验证。

    Jun, 2017

  • 从未标记的观测中变分推断出解耦的潜在概念

    本文提出一个基于变分推理的方法，从大量未标记的观察中推断分离的潜在因素，通过对所观察数据的近似后验期望引入正则化项，从而鼓励分离；同时，提出了一种新的分离度量，与解码器输出中观察到的定性分离更加一致，经实验证明，在分离度和数据似然（重建质量）方面存在显著的改进。

    Nov, 2017

  • 基于分组学习的去耦合表示学习方法，具有对新领域具有良好的泛化能力

    本研究提出了一种基于组的变分自编码器模型，能够从多个数据集中无需标签的情况下，对数据进行解耦，并将其分为内容因素与变化因素，从而实现变换不变性和内容泛化能力。

    Sep, 2018

  • 自然聚类下的鲁棒表征学习和解排

    我们提出 N-VAE，一种深度模型，能够检测和区分不同类别之间独有和共享的可变因素，并生成包含训练数据中看不到特征的人工样本。

    Jan, 2019

  • 构建基于群体的无监督表示解缠框架

    本文提出了一个理论框架和一个基于现有 VAE 方法的模型，以实现无监督的分离表示，通过引入群论的概念，以第 n 二面角群为灵感，证明了模型、群结构和数据三个充分条件，在五个数据集上的实验证明，在群化后的 VAE 上相对于原始 VAE 的性能更好。

    Feb, 2021

  • 利用稀疏和共享特征激活进行分离式表征学习

    本文提出了一种基于多任务学习的有监督编码器，该编码器通过一个广泛的、多样化的有监督任务来学习一个共同的解缠表示，以从高维数据中恢复潜在因素的变化。该方法在多个真实情况下进行了验证，包括图像和文本数据等不同数据形式。

    Apr, 2023

  • 超先验引导的无监督潜在表征分离

    本研究提出了一种在深度生成模型中实现无监督的解缠结潜在表示的方法，通过在 VAE 的潜在空间中引入反 Wishart 先验来实现潜变量之间的统计独立性，能够在多个数据集上优于 beta-VAE 和与最先进的 FactorVAE 相竞争。

    Sep, 2018