Jun, 2012

简单认知网络中的表征演化

PDF
TL;DR本文探讨了 “表示” 在环境中如何生成和对智能行为是否必要的问题，并设计了一种基于信息论的重要特征 “表示” 的量化测度 R，通过人工神经网络和隐藏马尔可夫门的网络求解一个分类任务，发现适应过程中表示的能力增强且会在一个 agent 的生命周期内形成其环境的表示，能够使 agent 在获取感官输入的基础上表现复杂的、依赖于语境的行为。
发现论文，激发创造
  • 表征的意义：作为可证伪记忆模式的心理表征

    本文探讨了神经科学和人工智能中所谓的表述问题，并提出了一种基于激活条件的结构推断来解决这个问题的方案，该方案可以用于规划、预测和检测。并通过简单神经网络模型的模拟来说明该方案。

    Mar, 2022

  • 神经网络中物理系统的操作性有意义表示

    通过神经网络架构，将物理系统中不同方面的信息以最高效的方式传递，以实现表述不同实验条件下有用参数的分离及筛选， 实现了针对不同参数需求的物理系统抽象表示， 并且可以与强化学习相结合实现交互式场景下的物理系统表征学习。

    Jan, 2020

  • 预测性表征：智能的构建基石

    自适应行为的核心是预测未来事件，本研究将强化学习理论与认知和神经科学研究整合，特别关注继承表示及其推广，表明特定类型的预测表示可能作为智能的多功能基石。

    Feb, 2024

  • 神经网络中表征学习和性能预测的量化方法

    本文提出了一种基于伪核的新工具，用于分析和预测网络学习到的表示，通过验证其在简单测试案例上的使用，本文论证了该方法可预测权重初始化和训练计划对表示学习和下游并发多任务执行表现的影响。

    Jul, 2023

  • 训练过程中可用信息和最优表示的演化

    本文提出了关于深度神经网络所学习的可用信息的概念，并用它来研究训练过程中如何生成最佳任务表示。我们展示了使用高学习率和小批量大小的随机梯度下降算法进行训练所产生的隐式正则化在学习任务的最小充分表示方面扮演着重要角色。在产生最小充分表示的过程中，我们发现表示内容在训练期间动态变化。特别是，我们发现在最初的瞬态训练阶段编码了在语义上有意义但最终无关紧要的信息，然后在后续被丢弃。此外，我们评估了扰动训练初始阶段对学习动态和产生的表示的影响。我们在受到神经科学文献启发的感知决策任务以及标准图像分类任务中展示了这些效应。

    Oct, 2020

  • 网络表示学习：一份综述

    本综述全面地回顾了数据挖掘和机器学习领域的网络表征学习技术的当前文献，并根据基本的学习机制、网络信息的保留意图以及算法设计和方法学对其进行分类和总结，同时对于验证网络表征学习的评估协议，如公开的基准数据集、评估方法和开源算法也进行了总结和分析，并在常见数据集上比较了代表性算法之间的性能和计算复杂度，并提出未来的研究方向。

    Dec, 2017

  • 神经预测信念表示

    本文探讨了使用现代神经网络结构学习信念表示的可能性，并使用一步帧预测和两个变体的对比预测编码作为目标函数来学习表示。我们发现，神经表示能够捕获到环境的信念信息，这有潜力在部分可观测领域中促进学习和规划的新进展。

    Nov, 2018

  • 将知识表征映射到概念：回顾与新视角

    该研究审查了通过提出分类法来将人类可理解的概念与神经网络中的内部表示相对应的研究，并发现了与模型可解释性目标有关的文学研究中的歧义，即是理解机器学习模型还是在部署领域有用的可行解释。

    Dec, 2022

  • 平衡社会表征中的效用与认知成本

    为了在环境中成功导航，一个智能体必须构建和维护遇到的其他智能体的表示。这些表示对于很多任务都很有用，但并非没有代价。因此，智能体必须在关于环境中的智能体的信息表示方面做出决策。利用有选择的模仿作为一个示例任务，我们阐述了一个在下游效用和信息成本之间进行最优权衡的问题，并举例说明了两种受资源限制的社交表示的方法。

    Oct, 2023

  • 可解释的符号网络表示意识

    通过计算模型跟踪和模拟物体的感知及其在通信中的表征，本研究描述了内部表征的两个关键组成部分（'observed' 和'seen'），并将它们与计算机视觉术语（编码和解码）联系起来。这些元素相结合形成符号网络，模拟物体感知和人类沟通中的意识。通过实验证明了我们模型的可视性，并探讨了如何将我们的网络作为预处理单元用于任何分类网络以提高效果，以期通过我们的模型更好地理解人类沟通和个人表征。

    Oct, 2023