解耦表示学习
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对 8 个数据集进行超过 14,000 个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是 “解开的” 上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020
TimeDRL 是一个通用的多变量时间序列表示学习框架,通过解耦的双层嵌入技术,利用预测和对比损失来学习时间戳级别和实例级别的嵌入,避免了数据增强方法引起的归纳偏差,并在多个实验中表现出优于现有方法的性能。
Dec, 2023
提出了一种新的框架 Deep Explainable Relational Reinforcement Learning (DERRL),它结合了神经网络和符号世界的优势来提取可解释的策略。通过在倒计时游戏、积木世界、网格世界和交通等不同环境中的实验证明,DERRL 可以适用于不同的配置和情境,从而具有通用性。
Apr, 2023
本文提出一种表示学习算法,该算法可以将隐含特征分解为可控和不可控两个部分,从而提高表示的可解释性并有效学习和规划。通过在三个不同的环境中展示该算法的分解性质,强调了该方法的优势。
Oct, 2022
该研究提出了一个神经和符号端到端强化学习架构,能够克服当前深度学习技术的局限性,如需要非常大的数据集工作、难以实现高级认知功能和透明性欠佳等。研究者以简单的视频游戏为例,展示了这个架构的实现原型,结果表明它能够有效地学习,并通过获得一组符号规则,可将性能提高到比传统完全神经强化学习系统更好的水平。
Sep, 2016
本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度,以通过非监督学习从高维数据中学习无监督表示,实验结果显示该目标函数可以解开离散变量,并提高其他变量的解开程度和泛化能力。
Apr, 2018
本文提出了一个理论框架和一个基于现有 VAE 方法的模型,以实现无监督的分离表示,通过引入群论的概念,以第 n 二面角群为灵感,证明了模型、群结构和数据三个充分条件,在五个数据集上的实验证明,在群化后的 VAE 上相对于原始 VAE 的性能更好。
Feb, 2021