Jul, 2024

衡量生成模型表示中的正交性

HTML
PDF
TL;DR我们提出了两种新的度量方法：重要性加权正交性（IWO）和重要性加权排名（IWR）。这些度量方法评估了生成因子的子空间的互正交性和排名。通过在多个基准数据集和模型上进行广泛实验，我们发现，与传统的解缠度量方法相比，IWO和IWR与下游任务性能之间始终显示出更强的相关性。我们的发现表明，表示质量与独立生成过程的正交性更相关，而不是它们的解缠性，为评估和改进无监督学习模型提供了新的方向。
发现论文，激发创造
  • 无监督学习中解开表征的常见假设的挑战

    本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设，通过实验研究发现，不加监督训练的模型很难达到良好的分离效果，同时，增加分离度似乎不会降低学习的样本复杂度，未来的研究应该关注归纳偏置和(隐式)监督的作用，考虑在多个数据集上复现实验结果。

    Nov, 2018

  • 关于非监督学习解耦表示及其评价的冷静观察

    本文提供了对无监督学习解开重要变动因素的最新发展的观点，旨在挑战一些常见的假设。本文首先从理论上证明了，无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着，通过对8个数据集进行超过14,000个模型的训练，本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性，但是没有监督的情况下，好的解开模型似乎无法被识别。此外，不同的评估指标并不总是在什么应该被认为是“解开的”上达成一致，而且在估计上表现出系统性差异。最后，增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明，关于解开学习的未来工作应该明确归因于诱导偏见和（隐含的）监督的作用，研究解开表示的具体好处，并考虑到涵盖几个数据集的可重复的实验设置。

    Oct, 2020

  • 分层解缠的基准、算法和指标

    本文介绍了用于学习具有层次结构表示的权威因素的基准、算法和指标，解决了代表学习中处理多种组合的上下文相关性、不确定性等实际生产过程的挑战。

    Feb, 2021

  • 非分离模型的解耦表示

    探讨了一种无监督的去卷积方法，在使用没有去卷积术语的生成模型中提取去卷积表示，以获得与现有技术相当的结果。

    Feb, 2021

  • 利用部分信息分解进行解缠分析

    提出了一种分析多元表示如何解开基础生成因素的框架，通过部分信息分解方法分析多元表示中的信息共享并提出了新的分离度量，实验发现分离度量对纠缠反应正确，发现分离度量相似的自编码器模型在纠缠方面有不同的特征，需要采用不同的策略来获得分离表示。

    Aug, 2021

  • 因果分离表示

    通过因果视角下关联因素的不懈探索，我们提出了两个衡量因果解缠的新指标及数据集，并在最新的表述学习器中进行了实证研究。

    Dec, 2021

  • 潜空间中的迷失：解缠模型和组合泛化的挑战

    通过测试不同的数据集和训练方法，我们发现，当生成模型的编码器无法将新颖的组合映射到正确的潜在空间区域时，它们会失败。而当生成模型能够成功时，要么测试条件没有排除足够的样本，要么排除的生成因素能够独立地影响生成图像的不同部分。基于这些结果，我们认为，要想正确地进行推广，生成模型不仅需要捕捉变异因素，而且还需要理解用于生成数据的生成过程的反演方式。

    Apr, 2022

  • 流分解表示学习

    流式因式分解表示学习是一个新颖的结构化表示学习视角，该模型通过动态最优输运的梯度场生成一组不同输入变换的潜在概率路径，并在标准表示学习基准上获得更高的似然度，同时接近于近似等变模型，具有鲁棒性和广泛适用性。

    Sep, 2023

  • 转移解耦表示：弥合合成图像与真实图像之间的差距

    本研究解决了目前解耦表示学习在真实图像上的潜力未得到充分发挥的问题，特别是由于生成因素的相关性和真实标签的有限获取。通过利用合成数据学习通用的解耦表示并进行微调，我们的研究表明，在合成数据与真实数据之间转移代表性是可能且有效的，并提出了一种新的可解释干预式指标来评估代表性中的编码质量。

    Sep, 2024

  • 改进分离表示评估度量的方法

    本研究解决了在分离表示学习领域中缺乏可靠且一致的量化评估度量的问题。通过全面分析现有度量，提出了一种新框架和度量指标EDI，该指标利用“独占性”这一直观概念，引入了改进的因子-编码关系，展现出比现有度量更优的稳定性和重要特性，建议将其作为标准化方法使用。

    Oct, 2024