本研究探讨基于表示学习和深度神经网络的匿名化方法,介绍了一种新的训练目标,同时训练一个预测器和防止中间表征成为私有标签的预测值。该三子网络的基架对应输入到表征、表征到预测的常规标签和表征到预测的私有标签。在保留有关常规标签的信息的同时,摒弃与身份有关的私人标签信息的学习表征,从而实现了有关分类与匿名化任务(手写数字和情感分析)的成功演示。
Feb, 2018
本文研究了多视角数据下的特征表示学习问题,比较了基于神经网络的多种技术,提出了一种新的深度自编码器,通过随机优化方法探索了小批量相关性目标函数,最终发现基于相关性的表现效果最佳。
Feb, 2016
本研究提出了一种算法,在仅有粗糙分类标签的情况下,学习目标任务的细粒度模式并获得理论保证,实验表明该方法可以显着提高在目标任务上的表现。
May, 2020
在深度学习中,利用辅助目标来促进学习在数据稀缺或主要任务极其复杂的情况下经常被使用。本文提出了一种名为 Detaux 的新颖框架,通过弱监督的解缠过程来发现可以与主要任务一起利用的新的无关分类任务和相关标签,从而解决了这一关键问题。在合成和真实数据上进行了广泛验证,并进行了各种消融研究,证明了解缠表示与多任务学习之间迄今未被探索的潜在联系的潜力。
Oct, 2023
从多种上下文环境的观察中提取现实的抽象表示是深度学习的一个追求目标之一。本文采用信息论的视角来研究这个问题,提出了一种新颖的正则化方法,称为 CLINIC 损失,通过大量的数值实验证明了这种方法在解缠表征与准确性之间取得更好的平衡,并且在不过于限制解缠任务的情况下具有更好的普适性。
利用高级别表示数据来帮助无监督学习任务的稀疏编码算法,通过 L1 正则化凸优化算法从无标签类别的高级别表示数据中推导出的优化解,以此描述使用稀疏编码的深度学习算法。
Apr, 2014
本文回顾了无监督特征学习和深度学习领域中的最新进展,讨论了学习良好的数据表示的适当目标,以及表示学习、密度估计和流形学习之间的几何联系。
Jun, 2012
本文提出了一种新的持续学习方案,该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题,在语义分割上进行了测试并在 Pascal VOC2012 和 ADE20K 数据集上取得了显著的准确性,远超过现有技术。
Mar, 2021
本文深度阐述了最近在表征学习中以自编码器为核心模型的研究进展,分析了三种主要的机制来实现信息分离和分层组织特征,探讨了表征学习中的隐式和显式监督的重要性,并通过失真率理论分析了自编码器表征学习的优缺点和任务需求的先验知识对表征学习的影响。
Dec, 2018
提出深度预测编码网络,用于学习具有动态情境感知的表征学习,实现了高效的特征提取与局部不变性表示,同时具有良好的结构噪声适应能力。
Jan, 2013