Feb, 2020

基于非线性 ICA 的可识别条件能量深度模型 ICE-BeeM

PDF
TL;DR本研究针对概率模型的可辨识性理论，通过一种广泛的条件能量模型建立充分条件，使得学习到的表示在函数空间上是唯一的，从而可以用于在非线性 ICA 框架下的组件估计，同时提高了图像数据集在迁移学习和半监督学习任务中的性能。
identifiability theoryconditional energy-based modelsfeature extractorsnonlinear icatransfer learning
发现论文，激发创造
  • 变分自编码器和非线性 ICA: 一个统一的框架

    该论文研究通过因式分解先验分布的方法实现对观察变量和潜在变量的真实联合分布的识别，从而实现了对深度潜在变量模型的拆分，论文中提出了一种新的非线性独立成分分析框架，该框架同时适用于具有噪音、欠完备或离散观测的情况。

    Jul, 2019

  • 非线性独立成分分析的空间数据可识别特征学习

    最近，非线性独立成分分析（nonlinear ICA）已经成为深度表示学习和特征解缠中许多启发式模型的热门替代方法之一。本文介绍了一种新的非线性 ICA 框架，采用适用于具有高维度依赖结构的数据的 $t$-process (TP) 潜在成分。我们发展了一种新的学习和推理算法，将变分推断方法扩展到将深度神经网络混合函数与 TP 先验结合起来，并采用诱导点的方法以提高计算效率。在理论方面，我们证明了这些 TP 独立成分在非常普遍的条件下是可识别的。此外，高斯过程（GP）非线性 ICA 被建立为 TP 非线性 ICA 模型的极限，并且我们证明了该 GP 极限下潜在成分的可识别性更受限制。也就是说，只有当这些成分具有不同的协方差核时，它们才是可识别的。我们的算法和可识别性定理在模拟空间数据和真实的时空数据上进行了探索。

    Nov, 2023

  • 非线性 ICA 的可辨识性：稀疏性与更多拓展研究

    通过在混合过程中添加约束条件（如结构稀疏性），我们在不需要辅助变量的情况下，实现了非线性 ICA 的非平凡可识别性。

    Jun, 2022

  • 论所学习表征的线性可辨识性

    研究深度神经网络在表示学习中的可辨认性，并从非线性独立成分分析的角度提出一种恢复可辨认性的方法，提出了一系列充分条件和证据，证明一大类具有判别性的模型在功能空间上具有线性可辨认性。

    Jul, 2020

  • 能量模型中特征多样性

    本文研究能量学习及能量模型，重点关注特征集的多样性和冗余性的影响，利用 PAC 理论推导出各种上下文中的泛化界限，并表明减少特征集的冗余性可以提高模型的性能。

    Jun, 2023

  • 贝叶斯深度冰

    深度独立分量估计（DICE）是一种现代机器学习中用于特征工程提取的方法，通过期望最大化（EM）和马尔可夫链蒙特卡罗（MCMC）算法，我们提供了独立分量分析的新型潜变量表示，该方法还适用于非线性特征提取的流体方法，并讨论了如何实现条件后验和基于包络的优化方法，通过这种表示层次，我们统一了许多迄今为止不相关的估计过程，在数值实例上说明了我们的方法和算法，最后，我们总结了未来研究方向。

    Jun, 2024

  • 再探能量模型作为策略：排序噪声对比估计和插值能量模型

    通过引入排名噪声对比估计（R-NCE）、可学习的负采样器和非对抗联合训练等关键因素，我们证明了高维连续空间中能量模型在训练时并不是不切实际的，我们的训练算法使能量模型作为策略在多模态路径规划和有接触力量推动等难度较高的基准测试中与扩散模型和其他最先进方法相竞争甚至表现更好。

    Sep, 2023

  • 能量基模型中的隐式生成和泛化

    本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

    Mar, 2019

  • 使用两个潜在向量的统计模型的可识别性：维度关系的重要性及其在图嵌入中的应用

    该研究论文提出了一个统计模型，通过引入辅助数据，并建立了各种可辨认性条件，其中包括非线性独立分量分析（ICA），并证明了所提模型的不确定性在某些条件下与线性 ICA 相同。在图数据中应用可辨认性理论，提出了一种可辨认的图嵌入方法，并通过数值实验验证了所提方法对潜向量的恢复以及模型可辨认性与图数据中的最大连接权重之间的依赖关系，从而支持了理论结果的推论。

    May, 2024

  • 特征空间中的能量校正模型用于异常数据检测

    该论文通过使用预训练深度分类器的特征空间研究了离群分布（OOD）检测问题，发现使用基于能量模型（EBM）学习内部分布特征的密度可以获得有竞争力的检测结果，并通过能量校正与类条件高斯分布的混合来解决 MCMC 采样非混合化的问题，相较于 CIFAR-10/CIFAR-100 OOD 检测基准上的 KNN 检测器取得了有利的结果。

    Mar, 2024