神经网络中表征学习和性能预测的量化方法
本文指出了中间神经表现添加了深度学习网络的灵活性并且在原始输入上具有优势,并阐述了与浅学习者,如卷积内核的神经表现的关系。通过学习低秩的多项式,中间神经表现可以实现比原始输入更少的样本复杂度,并且在神经可切内核的情况下,本文还提出了神经表现不利的限制。
Jun, 2020
该研究审查了通过提出分类法来将人类可理解的概念与神经网络中的内部表示相对应的研究,并发现了与模型可解释性目标有关的文学研究中的歧义,即是理解机器学习模型还是在部署领域有用的可行解释。
Dec, 2022
通过神经网络架构,将物理系统中不同方面的信息以最高效的方式传递,以实现表述不同实验条件下有用参数的分离及筛选, 实现了针对不同参数需求的物理系统抽象表示, 并且可以与强化学习相结合实现交互式场景下的物理系统表征学习。
Jan, 2020
该论文提出了一个新的基准来测试视觉表征,该基准直接测试大脑中多个视觉皮层区域中的神经表征,并测试了产生特征空间的任何计算机视觉算法。结论是一种针对中等图像难度的学习算法能够达到与大脑皮层区域 IT 相当的性能水平,并且优于更简单的区域 V4,在较高难度水平时甚至超过了 IT。
Jan, 2013
本文探讨了 “表示” 在环境中如何生成和对智能行为是否必要的问题,并设计了一种基于信息论的重要特征 “表示” 的量化测度 R,通过人工神经网络和隐藏马尔可夫门的网络求解一个分类任务,发现适应过程中表示的能力增强且会在一个 agent 的生命周期内形成其环境的表示,能够使 agent 在获取感官输入的基础上表现复杂的、依赖于语境的行为。
Jun, 2012
在这项工作中,我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域,并发现了表示与计算之间一些令人惊讶的脱节现象,这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色,并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征,并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚,这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差,同时突出了理解性或对比模型和大脑之间表示的关键挑战,即区分系统内部表示的外部偏差和计算上重要的方面。
May, 2024
本综述全面地回顾了数据挖掘和机器学习领域的网络表征学习技术的当前文献,并根据基本的学习机制、网络信息的保留意图以及算法设计和方法学对其进行分类和总结,同时对于验证网络表征学习的评估协议,如公开的基准数据集、评估方法和开源算法也进行了总结和分析,并在常见数据集上比较了代表性算法之间的性能和计算复杂度,并提出未来的研究方向。
Dec, 2017