演化无监督深度神经网络用于学习有意义的表示

Dec, 2017

演化无监督深度神经网络用于学习有意义的表示

Evolving Unsupervised Deep Neural Networks for Learning Meaningful Representations

Yanan Sun, Gary G. Yen, Zhang Yi

TL;DR本文提出了一种用于进化无监督深度神经网络以高效学习有意义表示的计算经济算法，其在分类任务上获得了良好效果，并且适用于当前昂贵的大数据时代。

Abstract

deep learning (DL) aims at learning the \emph{meaningful representations}. A meaningful representation refers to the one that gives rise to significant performance improvement of associated Machine Learning (ML)

deep learning unsupervised deep neural networks meaningful representations evolutionary algorithms big data

发现论文，激发创造

基于遗传编程的进化深度学习用于数据高效图像分类

本文提出了一种基于遗传编程的演化深度学习方法，可以自动演化可变长度模型，同时构建有效和多样化的 ensemble 用于图像分类，具有优越的性能和解释性。

Sep, 2022

深度神经网络通过对比自监督学习的进化

我们提出了一个使用自监督学习来进化深度神经网络的框架，通过在 CIFAR-10 数据集上的实验结果表明，我们能够在降低对标注数据依赖的同时进化出适当的神经网络结构，并且相比于采用监督学习的个体，通过自监督学习学习到的网络结构对于输入的标注数据量较不敏感。

Jun, 2024

演化深度卷积神经网络用于图像分类

本文提出了一种利用遗传算法优化深度卷积神经网络结构和连接权重初始化的图像分类算法，该算法利用一个高效的可变长度基因编码策略和新的表示方案初始化深度卷积神经网络的连接权重，并提出了一种新的适应度评估方法，实现了在少量计算资源下的快速启发式搜索，与其他 22 个现有算法相比在九个广泛应用于图像分类的任务中表现明显优越。

Oct, 2017

深度学习生成神经进化

本篇论文探讨神经进化在深度学习中的作用，其中 HyperNeat 通过训练一种间接编码来实现学习大型神经结构，并且结合其他机器学习方法可以有效提取特征。

Dec, 2013

走向生物学可行的深度学习

本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

Feb, 2015

深度学习中的万物皆无常，唯进化之光照常

该研究论文探讨了文化进化理论对于解释深度学习成功的重要性，认为深度学习中的重要创新可以被视为发展上的约束，而文化进化可作为解决方法来提高发展的效率和创新的生成率。

May, 2022

密集样本深度学习

基于对 DL 学习动态的观察，提出了一种基于复杂特征构建的新理论。