Jul, 2022

神经网络与乔姆斯基层次结构

PDF
TL;DR通过在 20,910 个模型和 15 个任务上进行广泛的实证研究，我们展示了按照 Chomsky 层次分类任务可以预测特定体系结构的广义能力。结果表明，只有增加了结构化记忆的网络（例如堆栈或内存带）才能成功地推广上下文自由和上下文相关的任务。
neural networksgeneralizationcomputation theorychomsky hierarchystructured memory
发现论文，激发创造
  • 语言的深度学习易度是由什么决定的？

    通过在人工语言学习研究中复制并测试深度神经网络学习新语言的记忆和推广能力，我们在神经网络与人类之间发现了惊人的相似性，并发现结构化语言输入在提高神经网络系统化概括和记忆错误方面的效果与自然语言存在高度相关性。

    Feb, 2023

  • 多任务深度神经分类器中的泛化问题：基于统计物理学的方法

    本论文通过应用无序系统的统计物理学技术，对解决使用 softmax 输出和交叉熵损失的分类任务的深度神经网络的推广进行非线性动力学的分析，以理论上支持多任务学习表现由任务的噪声性以及输入特征对其的对齐程度来决定的直觉。

    Oct, 2019

  • 现代人工神经网络中的语言泛化和组合性

    该研究回顾了当前深度学习语言处理网络的主要创新，讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化，但也不依赖于系统化的组合规则，这一现象应该引起语言学家和认知科学家的兴趣。

    Mar, 2019

  • 基于结构化任务训练的 Transformer 模型的系统泛化和涌现结构

    该文探讨了怎样使用 Transformer 网络在算法任务中表现良好，展示了多层 transformer 网络在任务分解中的可靠性解决方案，以及所有相关任务中的共享计算的利用。

    Oct, 2022

  • 面向任务和架构独立的泛化差预测器

    训练 13,500 个不同结构，不同变体的螺旋数据集和使用不同优化参数，我们使用这个数据集训练任务独立和架构独立的神经网络广义间隙预测器。结果表明，使用 DNN 和 RNN 可以优于线性模型，并取得了 $R^2=0.965$ 和 $R^2=0.584$ 的预测结果。

    Jun, 2019

  • 神经网络中的泛化：一项广泛调查

    本文综述了神经网络模型不同抽象级别的概念、建模方法和最近的研究发现，包括网络模型的概括、分布、域、任务、模式和范围的泛化，着重于在各泛化层次上存在的问题，例如过拟合问题和域适应问题。

    Sep, 2022

  • 测试神经网络模型在自然语言推理基准数据集中的泛化能力

    研究发现大部分神经网络模型在自然语言推理任务中无法很好地泛化，即使假设相同或相似，基准测试集得分很高的模型也很难在其他基准测试集上表现良好。此外，使用大型预训练语言模型有助于转移学习。当前自然语言推理数据集的涵盖范围不足以覆盖不同推理细节。

    Oct, 2018

  • 深度学习中的泛化错误

    本文概述了现有理论和界限，以表征深度神经网络的泛化误差。

    Aug, 2018

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 深度神经网络中可训练性和泛化能力的分离

    本文通过分析神经核算法的光谱，提供了对于训练和推广条件的表征，特别地，在讨论极深和宽的神经网络时，发现神经核数仅仅维持有限的数据相关性，并考虑各种网络模型在很大的超参数空间区域内训练集过度拟合而且通常无法推广；同时，与深度神经网络及其卷积形式的全局平均池化相关的理论和实验结果得到了分析。

    Dec, 2019