May, 2022
深度学习中的万物皆无常,唯进化之光照常
Nothing makes sense in deep learning, except in the light of evolution
Artem Kaznatcheev, Konrad Paul Kording
TL;DR该研究论文探讨了文化进化理论对于解释深度学习成功的重要性,认为深度学习中的重要创新可以被视为发展上的约束,而文化进化可作为解决方法来提高发展的效率和创新的生成率。
Abstract
deep learning (DL) is a surprisingly successful branch of machine learning.
The success of DL is usually explained by focusing analysis on a particular
recent algorithm and its traits. Instead, we propose that an explanation of the
success of DL must look at the population of all
发现论文,激发创造
越界:深度学习及其 (非) 鲁棒性的严格理解
本研究回顾了深度学习的鲁棒性问题,尤其是从近似理论到统计学习理论的关注和尝试,并回顾了贝叶斯深度学习作为不确定性量化和严格可解释性的一种手段。
Jul, 2023
深度学习的起源
本文综述了深度学习模型的演化历程,从神经网络的起源到如今的卷积神经网络、深度置信网络和循环神经网络,分析了这些模型的发展过程和思想,为深度学习提供了全面的背景和未来研究的指导方向。
Feb, 2017
基于遗传编程的进化深度学习用于数据高效图像分类
本文提出了一种基于遗传编程的演化深度学习方法,可以自动演化可变长度模型,同时构建有效和多样化的 ensemble 用于图像分类,具有优越的性能和解释性。
Sep, 2022
科学中的深度学习
这篇文章利用自然语言处理技术,针对多个领域的相关研究文献分析了深度学习技术的扩散和影响,在研究健康科学的过程中发现,深度学习技术的采用虽然与知识结构的颠覆和再组合的新颖性呈现负相关,但却能提高期望和引用性能方面的变异性。因此,深度学习方法可以作为一种通用的科学方法,以可衡量的方式推动科学的进展。
Sep, 2020
神经发生、神经达尔文主义和物种进化是否都可以成为深度神经网络演化的灵感来源?
本文强调了人脑的二维进化对于深度神经网络的进化建模的重要性,提出了通过进化算法对深度神经网络进行自动构建的研究前沿,并探讨了 dropout 方法和神经发生与 DNNs 进化之间的联系,为增强深度神经网络的自动构建提出了几项建议。
Apr, 2023
通过神经发育计划实现自组装人工神经网络
本文介绍一种神经网络成长的过程,通过一种类似于生物发育的过程,使用神经发育程序 (NDP) 作为一种引导机制,进而自我组织神经网络。作者还探讨了这种方法在不同优化方法(进化训练,在线 RL,离线 RL 和监督学习)和不同机器学习基准上的实验表现,并强调了自组织驱动神经网络成长所带来的未来研究方向和机会。
Jul, 2023