Oct, 2018

深度神经网络语义发展的数学理论

PDF
TL;DR通过分析深度线性网络中的非线性动态，我们找到了确切的解决方案，从而解释了语义认知中许多不同现象的普遍性，包括概念的分层差异、语义错觉、项目典型性和类别一致性的出现，以及发展过程中归纳投射模式的变化，以及跨物种的神经表示中语义相似性的保持。
semantic knowledgeneural networksdeep learningsemantic cognitiondevelopment
发现论文，激发创造
  • 神经网络的语义景观范式

    深度神经网络的训练动态可以用语义景观范式来描述，该范式将神经网络的学习表示抽象为图上的轨迹，并解释了与尺度相关的算法的出现以及神经尺度定律的统计物理学现象。

    Jul, 2023

  • 语义认知、归纳推理与语言模型

    利用归纳推理现象，通过研究语言模型（LMs）中的语义归纳综合，分析人工归纳文献中观察到的现象，并研究涉及隐含推理和新出现功能识别等任务的归纳行为，并分析并联系到学习到的概念表示空间。

    Nov, 2021

  • 深度学习系统作为复杂网络

    该文章使用复杂网络中常用的技术研究了深度置信网络，以期获得从学习过程中得到的计算图的结构和功能特性的一些见解。

    Sep, 2018

  • 深度神经网络全局和局部解释的语义学

    本文提出一种数学优化方法，将人类可解释的语义概念与特征空间中的向量相互关联，从而诠释全局和局部的深度神经网络决策过程。实验表明，该方法可以有效解释已有深度神经网络模型。

    Oct, 2019

  • 深度学习理论原理

    本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。

    Jun, 2021

  • 深度学习中的句法结构

    本文介绍了现代深度神经网络在机器翻译等需要广泛语言技能的工程应用中取得的卓越性能，探讨它们是否从接触的原始数据中引导出类似于人类语法知识的思想，并讨论这些工作对理论语言学的广泛影响。

    Apr, 2020

  • 通过有意义的学习重新审视系统化泛化

    通过对人类意义学习能力的重新审视，本文重新评估语序 - 语序模型在新旧概念之间语义联系的条件下所具有的组合技能，证明了它能够通过语义关联来成功地进行一次性泛化到新概念和组合中，这为更高级的学习方案揭示了现代神经网络在系统概括中的潜力。

    Mar, 2020

  • 深度学习和廉价学习为什么如此有效？

    本论文旨在应用物理学中的对称性、局域性、复合性和多项式对数概率等性质，研究深度神经网络在近似处理特定实际问题时可以使用相对简单的模型，从信息论的角度证明这些理论，并通过层次结构的机制使深层模型比浅层模型更高效。

    Aug, 2016

  • 神经网络求解数学问题中出现了组合处理

    本文探讨了人类学习机制中的组合性问题，并扩展了先前针对自然语言的神经网络研究到数学推理领域。研究发现，神经网络不仅能够学习到训练数据中的结构关系，而且能够将这些知识用于指导复合意义的组合。

    May, 2021

  • 生成神经网络中的物理知识获取

    根据物理理解为测试基准，通过深度生成神经网络的学习轨迹与儿童的发展轨迹进行比较，研究发现模型在两种假设下的学习轨迹均不符合儿童的发展轨迹。

    Oct, 2023