DrNET是一种用于学习从视频中生成分离图像表示的新型模型，通过利用视频的时间一致性和新型的对抗性损失函数来学习一种表示，该表示将每一帧分解为一个固定部分和一个随时间变化的成分，这种分离的表示可以用于一系列任务，例如将标准LSTM应用于随时间变化的成分，从而预测未来的帧。

May, 2017

本文介绍了一种用于无人监督学习序列数据的框架——Kalman变分自编码器，该框架在描述视频中的动态变化时不使用构成其帧的像素空间，而是用一个描述其物体非线性动态的隐藏空间。该模型在各种模拟的物理系统视频中进行端到端训练，在生成和缺失数据输入任务方面优于竞争方法。

Oct, 2017

该论文指出只需要知道环境中有多少因素发生了变化，而不必了解哪些因素发生了变化，就足以学习到分离的表征，同时实验表明，这种弱监督方式足以在多个基准数据集上可靠地学习到分离的表征，并在多个任务上发挥作用，包括协变量漂移下的一般化、公平性和抽象推理。

Feb, 2020

该论文介绍了一种基于SlowVAE的非监督学习模型， 可以在自然视频中实现底层变化因素的非线性分离， 并证明该模型在多个测试数据集上都超过了目前的最先进水平，并成功应用于其他具有自然动态的视频数据集。

Jul, 2020

本文提出了一种新的循环Wasserstein自编码器(R-WAE)框架，可用于序列数据的生成建模，通过将输入序列的表示分离成静态和动态因素，并同时最大程度优化输入数据和不同的分离潜在要素之间的互信息，进一步扩展和优化了(循环)VAE的性能。

Jan, 2021

本文提出了一种无监督序列解缠框架，它基于对矩乘自编码器或变分自编码器从下层模型生成、采样和比较实际分布的对比估计方法，而不需要外部信号、使用常见批量大小和来自潜在空间本身的样本。我们在视频、音频和时间序列基准上评估了我们的方法，取得了与现有技术相比的最新结果。

May, 2023

通过对视频进行数据蒸馏，提出了一种方法来解决视频中的时间维度问题，该方法首先将视频转化为静态图像作为静态内存，然后使用可学习的动态内存块补偿动态和运动信息，以在不同规模的视频数据集上实现最先进的表现。

Dec, 2023

通过引入简单且有效的减法归纳偏差，条件于单个样本，我们提出了一种新颖且简单的架构，以减少信息泄漏，并展示了在生成和预测任务上相比多个强基准方法更先进的结果。

Jun, 2024

最近的研究表明，基于对象的表示可以极大地提高学习动力学的准确性，同时带来可解释性。本研究进一步探讨了这一想法，探讨了在基于对象模型中学习解缠表示是否可以进一步提高视觉动力学预测的准确性。我们的体系结构的关键部分是“块”的概念，多个块组成一个对象，每个块都是一组可学习的概念向量的线性组合，在学习过程中逐步完善。我们的模型中的块是以无监督的方式发现的，通过关注对象掩码，并以类似于“槽”发现的方式进行密集基于对象的表示学习。通过Transformer和自注意力机制，我们对 discovered blocks 进行自我-注意力操作以预测下一个状态，从而发现视觉动力学。我们在几个基准2D和3D数据集上进行了一系列实验，证明了我们的体系结构：(1)可以发现有语义意义的块；(2)相对于SOTA的基于对象模型，帮助提高动力学预测的准确性；(3)在未见过训练阶段的特定属性组合的OOD设置中表现明显更好。我们的实验证明了对视觉动力学预测的解缠表示的发现的重要性。

Jul, 2024

本研究解决了目前解耦表示学习在真实图像上的潜力未得到充分发挥的问题，特别是由于生成因素的相关性和真实标签的有限获取。通过利用合成数据学习通用的解耦表示并进行微调，我们的研究表明，在合成数据与真实数据之间转移代表性是可能且有效的，并提出了一种新的可解释干预式指标来评估代表性中的编码质量。

Sep, 2024