本研究提出了一种针对强化学习中存在相关特征的高维观察数据的辅助任务方法,通过最小化表示中特征的条件互信息来学习解缠缚表示,以提高对相关性变化的泛化能力。实验结果表明,该方法可以提高强化学习算法的训练性能和泛化能力。
May, 2023
本文研究了因果变量在相关数据上的行为并分析了最主要的解缠方法在大规模实证研究(包括 4260 个模型)中的表现,结果显示数据集中系统性引入的相关性正在被学习并反映在潜在表示中,这对于解缠的下游应用如公平性有重要的影响,同时呈现了如何通过训练期间的弱监督或使用少量标签的预训练模型的后修复来解决这些潜在的相关性。
Jun, 2020
本文研究学习分离表现形式的问题,提出一种基于互信息估计的模型,用于捕捉数据的共享和独占组件,并强制实现表现形式分离,在共享或独占部分基础上实现图像分类和图像检索,结果表明相对于基于 VAE/GAN 方法的最先进模型,本文提出的模型表现更加出色。
Dec, 2019
该论文指出只需要知道环境中有多少因素发生了变化,而不必了解哪些因素发生了变化,就足以学习到分离的表征,同时实验表明,这种弱监督方式足以在多个基准数据集上可靠地学习到分离的表征,并在多个任务上发挥作用,包括协变量漂移下的一般化、公平性和抽象推理。
Feb, 2020
通过信息理论,提出了一种能够有效将自然语言进行解缠编码的新方法,产生了在内容和风格保留方面高质量的解缠表示,借助互信息的上界来度量风格和内容之间的相关性,实现对风格和内容嵌入成两个独立的低维空间。
提出了一种基于信息提取的生成对抗网络框架(ID-GAN),可用于通过 VAE-based 模型学习分离表示,并将其提炼为生成高保真图像的 GAN 生成器。
Jan, 2020
本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设,通过实验研究发现,不加监督训练的模型很难达到良好的分离效果,同时,增加分离度似乎不会降低学习的样本复杂度,未来的研究应该关注归纳偏置和 (隐式) 监督的作用,考虑在多个数据集上复现实验结果。
Nov, 2018
这篇论文通过引入共变量先验偏好,提出了一种名为 C-Disentanglement 的框架,用于识别因果生成因子,并在领域变化下取得了与各种 SOTA 基准方法相比具有竞争力的结果。
Oct, 2023
本研究提出了一种新颖的训练方法 S2D,它可以有效地训练出一个单一模型以估算不确定性,也可以构建这些模型的集合并应用分层集成蒸馏方法,结果显示 S2D 模型优于标准模型和 Monte-Carlo Dropout,甚至连标准深度集成都能被 S2D 集成和新型蒸馏模型超越。另外还进行了 LSUN、Tiny ImageNet 和 SVHN 的外分布检测实验。
Mar, 2022
提出了一种新的自监督因果解缠模型 SCADI,通过结合屏蔽的结构因果模型(SCM)和伪标签生成器,实现模型在没有任何监督的情况下发现语义因素并学习它们之间的因果关系。
Nov, 2023