Jul, 2022

物理概念的可学习性：神经网络能否理解真实世界？

PDF
TL;DR在现代架构上，使用随机梯度下降算法训练模型可以更好地了解抽象概念，但仍然需要不断交互和验证以理解物理概念，并通过控制数据采集过程获得积极的观察结果。然而，使用有限的资源和时间将物理实体绑定到数字身份是解决信号到符号障碍问题的一个潜在方法，但需要不断的验证和咨询。
发现论文，激发创造
  • 用神经网络发现物理概念

    本研究以人类物理推理过程为模板，建立了一种神经网络架构，旨在通过表示学习的方式，使神经网络在实验数据的基础上为科学发现提供更具一般性的工具，并在玩具实例中应用该方法，得出相应结论。

    Jul, 2018

  • 神经网络中物理系统的操作性有意义表示

    通过神经网络架构，将物理系统中不同方面的信息以最高效的方式传递，以实现表述不同实验条件下有用参数的分离及筛选， 实现了针对不同参数需求的物理系统抽象表示， 并且可以与强化学习相结合实现交互式场景下的物理系统表征学习。

    Jan, 2020

  • 语言模型能够理解物理概念吗？

    该论文研究了自然语言模型是否能理解物理概念，并设计了一个基准测试 VEC 来探究视觉和具身概念。结果表明，视觉增强的语言模型，如 CLIP 和 BLIP，能够理解具身概念，而通过蒸馏方法将具身知识转移给 LMs 的性能也相当可观。

    May, 2023

  • 卷积神经网络的智能程度如何？

    通过合成实验，研究深度学习算法从图像中推断简单的视觉概念，如对称性，作者设计了 “啊哈挑战” 以促进对 Gestalt 风格机器智能的研究。实验表明，相比于深度卷积神经网络，人类能够很快推断出语义概念，但需要更少的示例才能做到这一点。

    Sep, 2017

  • 从神经激活到概念：关于解释神经网络中的概念的调查

    综述了最近的方法来解释神经网络中的概念，强调了将学习和推理结合起来的重要性，并探讨了将概念知识插入神经网络架构的可能性，为实现基于可解释概念的神经符号人工智能迈出重要一步。

    Oct, 2023

  • 神经网络概念的单元测试

    本研究提出了关于符号概念的理论，并使用一个简单的视觉概念学习任务来评估多个现代神经结构与该理论的一致程度，发现这些模型可以成功通过测验，但在因果关系方面仍然存在重要的问题。

    Jul, 2022

  • 人为引导的复杂度控制抽象

    我们通过调整表示分布的熵，训练神经模型生成一系列离散表示，并在微调实验中展示了将表示调整到任务适当复杂度水平支持最高微调性能，并通过离散表示的可视化帮助用户在下游任务中识别适当的复杂度水平，这为利用人类洞察力快速微调模型指明了一个有希望的方向。

    Oct, 2023

  • 基于物体中心预测模型的内在物理概念发现

    本文介绍了一个无需监督训练的系统 PHYsical Concepts Inference NEtwork (PHYCINE)，该系统可以发现和表示物理概念，包括物质和电荷，并且使用这些变量来获得比仅使用可见对象特征更好的因果推理性能。

    Mar, 2023

  • 神经网络中的正式概念视图

    本研究介绍了两种神经网络的概念视图，即多值视图和符号视图，并通过在 ImageNet 和 Fruit-360 数据集上的实验测试了其概念表达能力。此外，论文还展示了这些视图可以量化不同学习架构之间的概念相似度，并演示了如何将概念视图应用于从神经元中归纳学习人类可理解的规则，从而为全局解释神经网络模型做出贡献。

    Sep, 2022

  • 用概念器控制递归神经网络

    提出一种神经动力学机制 (conceptors)，它将非线性动力学与基本的概念抽象和逻辑原则相结合，可以在一个神经系统中学习、存储、抽象、聚焦、变形、概括、去噪和识别大量的动力学模式。

    Mar, 2014