分层解缠的基准、算法和指标
提出了一种分析多元表示如何解开基础生成因素的框架,通过部分信息分解方法分析多元表示中的信息共享并提出了新的分离度量,实验发现分离度量对纠缠反应正确,发现分离度量相似的自编码器模型在纠缠方面有不同的特征,需要采用不同的策略来获得分离表示。
Aug, 2021
本文综述了学习因素分离和表示在人工智能中的重要性,提出了影响因素分离度量的三个家族,即基于干预、基于预测和基于信息的,通过实验和分析揭示了具有因素分离特性的表示的属性之间的关系,并提供了衡量因素分离的指导方针。
Dec, 2020
该研究提出了一种理论上的度量方法来评估机器学习中所谓的 disentangled representations 的质量,这些方法可以让不同的机器学习模型公平地进行比较。
Aug, 2019
本文研究了解离散表示学习的定义,并介绍了将等式定义转化为基于丰富范畴论的相容量化评估标准的系统方法。我们提出了适用于评估去迭代复杂数据的可分离表示抽取器所需性质的量化度量标准,并展示了它们在合成数据上的有效性。我们的方法为研究人员选择合适的评估标准和设计有效的离散表示学习算法提供了实用指导。
May, 2023
本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度,以通过非监督学习从高维数据中学习无监督表示,实验结果显示该目标函数可以解开离散变量,并提高其他变量的解开程度和泛化能力。
Apr, 2018
本论文提出两种新的基于分类问题的度量方法来评估编码器的解缠能力,这些度量方法解决了现有度量方法中的两个缺陷,并且发现这些度量方法与组合概括任务的表现强相关。
Apr, 2023
本文提出了一种框架来无监督地学习清晰而可解释的连续和离散化的表示形式,通过增加变分自动编码机的连续潜在分布,并控制每个潜在单元中编码的信息量,展示了如何自动地从数据中发现连续和分类变化因素。实验结果显示,该框架在各种数据集上对连续和离散的生成因素进行了区分,并在离散生成因素突出时优于当前的 disentangling 方法。
Mar, 2018
通过渐进式学习独立层级表示,本文提出了一种策略来提高 Deep Generative Models 如 Variational Auto-Encoder 的去纠缠性能,该模型从最抽象的表示开始学习,并逐渐增加网络结构以介绍不同层次的表示。在两个基准数据集上,本文通过三个去纠缠度量定量地证明了所提出模型相比于现有作品的改进,包括我们提出的补充相互信息差度量。我们提供了定性和定量的证据,论证了学习进程如何提高分解成层级表示的性能。本文通过同时利用层级表示学习和渐进式学习的优势,是我们目前发现的第一次尝试通过逐步增加 VAE 的能力来提高去纠缠性。
Feb, 2020
本文提出一种分解的分层变分自动编码器,能够在无监督的情况下从序列数据中学习分离和可解释的表征。该模型基于多尺度信息的分层结构,实现了针对不同潜变量集合的序列依赖先验和序列无关先验。通过在两个语音语料库上的实验,表明该模型能够通过操纵不同的潜变量集合来转换说话人或语言内容,并在说话人验证和自动语音识别任务中优于基线模型。
Sep, 2017