深度神经网络通过对比自监督学习的进化

Jun, 2024

深度神经网络通过对比自监督学习的进化

Towards evolution of Deep Neural Networks through contrastive Self-Supervised learning

Adriano Vinhas, João Correia, Penousal Machado

TL;DR我们提出了一个使用自监督学习来进化深度神经网络的框架，通过在 CIFAR-10 数据集上的实验结果表明，我们能够在降低对标注数据依赖的同时进化出适当的神经网络结构，并且相比于采用监督学习的个体，通过自监督学习学习到的网络结构对于输入的标注数据量较不敏感。

Abstract

deep neural networks (DNNs) have been successfully applied to a wide range of problems. However, two main limitations are commonly pointed out. The first one is that they require long time to design. The other is that they heavily rely on →

deep neural networks neuroevolution self-supervised learning labelled data performance

发现论文，激发创造

深度学习生成神经进化

本篇论文探讨神经进化在深度学习中的作用，其中 HyperNeat 通过训练一种间接编码来实现学习大型神经结构，并且结合其他机器学习方法可以有效提取特征。

Dec, 2013

自监督学习：生成或对比

本文介绍自监督学习作为深度学习替代方案的优势及其在计算机视觉、自然语言处理和图学习中的应用，分类总结了现有的自监督学习方法，并进一步探讨其相关的理论分析工作，最后简要讨论了自监督学习的未来方向和开放性问题.

Jun, 2020

神经网络顺序转移自监督预训练调查

本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

Jul, 2020

深度神经网络自监督视觉特征学习：综述

本文综述了基于深度神经网络的自监督学习方法在视觉特征学习方面的应用，由于需要大量标记数据来训练深度神经网络，因此自监督学习被提出来，使用大规模未标记数据来学习图像和视频的通用特征而无需使用任何人工标记的标签。本文对自监督学习方法的主要组件和评估指标以及已有的图像和视频特征学习方法进行了综述和比较。

Feb, 2019

神经发生、神经达尔文主义和物种进化是否都可以成为深度神经网络演化的灵感来源？

本文强调了人脑的二维进化对于深度神经网络的进化建模的重要性，提出了通过进化算法对深度神经网络进行自动构建的研究前沿，并探讨了 dropout 方法和神经发生与 DNNs 进化之间的联系，为增强深度神经网络的自动构建提出了几项建议。

Apr, 2023

深度半监督学习概述

本文综述了深度半监督学习的概念及其在深度神经网络上的应用，以期实现更高的数据效率。

Jun, 2020

演化无监督深度神经网络用于学习有意义的表示

本文提出了一种用于进化无监督深度神经网络以高效学习有意义表示的计算经济算法，其在分类任务上获得了良好效果，并且适用于当前昂贵的大数据时代。

Dec, 2017

通过深度强化学习改进时空自监督

本研究提出了一种基于强化学习的采样策略，以适应网络状态，自适应采样新的排列，以更新卷积特征表示，进而在图像和视频分类及最近邻检索的标准基准测试中展现了具有竞争力的表现。

Jul, 2018

有监督和自监督模型之间出人意料的相似性

本文探讨了自监督学习和人类行为之间的相似性，指出目前的自监督模型在噪声、类别和图像级别的误差模式、纹理偏好等方面与有监督模型相似，但仍不足以与人类视觉行为相提并论，期望未来的自监督模型能更接近人类的物体识别能力。

Oct, 2020

自监督视觉表示学习再探讨

该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习，并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。

Jan, 2019