图像分析的本地无监督学习
我们提出了一种基于无监督自动学习的方法,可以学习出具有小样本复杂度的好的表示方法,在视觉对象识别等领域可以得到应用。通过无监督学习期间存储的一组模板,可以对每个图像块计算一种不变而又唯一的(有区分性的)签名,从而从很少的有标记例子中学习图像识别。
Nov, 2013
提出了一个与生物学有相当可信度的非常规学习规则,可以通过全局抑制作用于隐藏层,能够完全无监督的学习早期特征检测器,这些学过的下层特征检测器可用于以惯常的有监督方式训练更高层次的权重,以使整个网络的性能与通过反向传播算法端对端训练的前馈网络的性能相当。
Jun, 2018
本文提出了一种训练且具有鲁棒性的卷积神经网络的方法,通过惩罚较早层所学习的局部表示的预测能力,迫使网络丢弃色彩和纹理等可从局部感受野中获取的预测信号,并依靠图像的全局结构。在一系列综合性和基准领域适应任务中,我们的方法使泛化能力得到了改善。我们还引入了一个新的数据集 ImageNet-Sketch,以评估跨域传输。
May, 2019
本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题,提出了一种新的解决方案,即将本地块重叠并堆叠在一起以增加解码器深度,并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务,我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。
Aug, 2020
本文介绍了一种基于增强版 k-means 聚类算法的深度卷积神经网络,该算法通过无监督学习技术利用分层特征来减少相关参数的数量,从而提高了测试分类精度。作者进一步展示了学习深度卷积神经网络各层之间的连接能够提高网络在少量标记数据上的训练能力,最终在 STL-10 数据集上获得 74.1% 的测试准确率以及在 MNIST 数据集上仅有 0.5% 的测试误差。
Nov, 2015
提出了一种名为 AugLocal 的增强本地学习方法,通过选择其后续网络层的小部分层来增强它们之间的协同作用,解决了本地学习方法在大规模网络中与 BP 方法之间的精度差距问题,并减少了 GPU 内存使用量约 40%,为资源受限平台上训练高性能深度神经网络带来了许多机会。
Feb, 2024
本文提出了一种新的基于卷积神经网络的目标跟踪方法,使用简单的两层卷积神经网络进行在线适应学习,能够生成鲁棒性较强的目标表示,并在 CVPR2013 数据集上的 50 个挑战性视频中表现优异。
Jan, 2015
本文介绍了一种使用无标签数据训练卷积网络的方法,该方法可用于通用特征学习,通过应用多种变换来区分一组代理类别,获得了比监督学习更具鲁棒性的特征表示,能在几个流行数据集上取得胜于现有结果的分类效果。
Jun, 2014
这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则,使用局部,赫布规则进行权重更新,并具有深度分层的图像、语音和视频表示。
Oct, 2020