Apr, 2020

Mehler 公式，分支过程和深度神经网络的组合核函数

PDF
TL;DR通过 Mehler 公式探究组合内核和分叉过程之间的连接，研究了深度神经网络的数学作用。此外，提出了一种新的随机特征算法，并研究了组合内核的特征值，进一步说明了相应再生核希尔伯特空间的复杂性。
compositional kernelsneural networksactivation functionmemorization capacityrandom features algorithm
发现论文，激发创造
  • 神经网络求解数学问题中出现了组合处理

    本文探讨了人类学习机制中的组合性问题，并扩展了先前针对自然语言的神经网络研究到数学推理领域。研究发现，神经网络不仅能够学习到训练数据中的结构关系，而且能够将这些知识用于指导复合意义的组合。

    May, 2021

  • 深度神经网络的线性区域数量

    研究神经网络的深度和节点的线性区分性对于复杂计算的影响，并在对多个模型类型的分析中提出新的关于深度优势的理论结果，同时研究了高层次单元的行为。

    Feb, 2014

  • 神经模型中组成通用能力的研究

    该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。

    Jun, 2020

  • 以聚类组成性解释增进对神经元的全面理解

    本文提出了一种称为集群组合解释的概括方法，它结合了组合解释、聚类和新颖的搜索启发式，以近似更广范围的神经元行为。我们定义并解决了应用这些方法到多个激活范围的问题，并分析了通过使用我们的算法可获取的洞见，并提出了可以用来研究不同算法返回的解释的期望品质。

    Oct, 2023

  • 高斯过程可微分复合核学习

    本文介绍了神经核网络 (NKN) 的概念，它是一种可以逼近自适应统计学家所使用的复合核结构的灵活的内核族。在进行实验验证的过程中，证明了 NKN 具有发现和推断潜在结构的能力，并且可以用于进行时间序列和纹理外推以及贝叶斯优化任务。

    Jun, 2018

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 关系特征组合及其在解释黑盒预测器中的应用

    本文提出了一种称为 CRM 的解释神经网络，可以用来解决黑匣子模型，同时利用逻辑编程和深度学习的优点，在逻辑编程系统中运用了深度神经网络的思想，进一步对复杂关系进行建模和解释。

    Jun, 2022

  • 函数学习：何时深度学习优于浅层学习

    本文证明了深度（分层）网络可以近似组合函数，其准确度与浅层网络相同，但训练参数以及 VC 维度指数级地减少，并定义了一般类可扩展和平移不变算法来证明深度卷积网络的简单和自然的一组要求。

    Mar, 2016

  • 深度神经网络的函数逼近

    利用聚合函数表达的子函数描述构成的有向无环图，深度网络比浅层网络更好地逼近这些函数，因为深度网络可以被设计成具有相同的组合结构，而浅层网络无法利用这一知识，组合性的祝福缓解了维数灾难，而称为良好误差传播的定理允许通过选择适当的范数、平滑度等将有关浅层网络的定理推广到有关深层网络的定理。我们在三个环境中说明了这一点，其中每个通道在深层网络中计算球面多项式、非平滑 ReLU 网络或与 ReLU 网络密切相关的另一种区域函数网络。

    May, 2019

  • 无切线的神经核函数

    通过研究神经网络和内核空间中的简单构建块之间的联系，我们提出了一种从特征组中创建 “组合” 内核的代数。在实验中，我们发现神经网络体系结构和相关内核的测试误差之间存在相关性，并构建了一个只使用 3x3 卷积、2x2 平均池化、ReLU 并使用 SGD 和 MSE 损失进行优化的简单神经网络体系结构，在 CIFAR10 数据集上获得 96％的准确度，其对应的组合内核可达到 90％的准确度。我们还使用我们的构造方法研究了神经网络、NTK 和组合内核在小数据集环境中的相对性能表现，特别是发现组合内核优于 NTK，神经网络优于这两种内核方法。

    Mar, 2020