本文提出了一个理论框架和一个基于现有 VAE 方法的模型,以实现无监督的分离表示,通过引入群论的概念,以第 n 二面角群为灵感,证明了模型、群结构和数据三个充分条件,在五个数据集上的实验证明,在群化后的 VAE 上相对于原始 VAE 的性能更好。
Feb, 2021
通过将标准的高斯变分自编码器(VAE)替换为量身定制的分类变分自编码器,我们探究了离散潜变量空间与解耦表示之间的关系。我们展示了分类分布的基础网格结构可以减轻与多变量高斯分布相关的旋转不变性问题,并作为解耦表示的高效先验。我们提供了分析和经验证据表明,离散 VAE 在学习解耦表示方面的优势。此外,我们引入了第一个偏向于解耦表示的无监督模型选择策略。
Jul, 2023
本文提出了一种线性模型来处理具有挑战性的现实多通道信号,该模型在 2D 面部视频中进行人脸动作识别,其基于稀疏表示分类的直观线性模型,利用帧之间的低秩性质来减去底层的中性脸部,从而识别面部动作单位,取得不错的性能。
Jan, 2017
本文提出一个基于变分推理的方法,从大量未标记的观察中推断分离的潜在因素,通过对所观察数据的近似后验期望引入正则化项,从而鼓励分离;同时,提出了一种新的分离度量,与解码器输出中观察到的定性分离更加一致,经实验证明,在分离度和数据似然(重建质量)方面存在显著的改进。
Nov, 2017
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对 8 个数据集进行超过 14,000 个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是 “解开的” 上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020
本文提出了一种框架来无监督地学习清晰而可解释的连续和离散化的表示形式,通过增加变分自动编码机的连续潜在分布,并控制每个潜在单元中编码的信息量,展示了如何自动地从数据中发现连续和分类变化因素。实验结果显示,该框架在各种数据集上对连续和离散的生成因素进行了区分,并在离散生成因素突出时优于当前的 disentangling 方法。
Mar, 2018
使用可表征语法和语义规律的定义句类别训练变分自编码器,并在多个测试中展现其成功解耦表示效果,以及在定义建模中得到的改善。
Sep, 2022
本文提出一种分解的分层变分自动编码器,能够在无监督的情况下从序列数据中学习分离和可解释的表征。该模型基于多尺度信息的分层结构,实现了针对不同潜变量集合的序列依赖先验和序列无关先验。通过在两个语音语料库上的实验,表明该模型能够通过操纵不同的潜变量集合来转换说话人或语言内容,并在说话人验证和自动语音识别任务中优于基线模型。
Sep, 2017
通过将数据变化编码为 Lie 群的结构,我们提出了一种利用变换等变地表示变化的不受限制的、自适应优化的组结构,实现了无监督的解缠结学习,并在不增加额外约束的情况下取得了最先进的性能。
Jun, 2021
本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度,以通过非监督学习从高维数据中学习无监督表示,实验结果显示该目标函数可以解开离散变量,并提高其他变量的解开程度和泛化能力。
Apr, 2018