Nov, 2022

系统性归纳的简要调查

PDF
TL;DR本研究系统地总结了机器学习中的系统化推广方法，并从经典派和联结派等不同角度介绍了其相关信息。我们重点讨论了不同类型的联结派及其如何处理推广问题，并探讨了在语言、视觉和 VQA 等领域中的应用。此外，我们还讨论了相关的变量绑定和因果问题，并简要介绍了最新的研究进展，希望能为未来的研究提供一定的背景和参考。
发现论文，激发创造
  • 系统性概括：所需和可学习性？

    比较了通用模型和模块化模型在系统化泛化方面的不同，发现模块化模型更具系统性，且高度敏感于模块排列方式，还探究了一些方法，结果表明，除了模块化，语言理解的系统泛化可能需要显式的正则化器或先验。

    Nov, 2018

  • 通过模块化和增强改进系统化的泛化能力

    本研究研究了通过模块化和数据增量方法对神经网络在基于自然语言语境的学习中实现系统化综合的影响，并发现具有认知过程至少两个模块的神经网络比非模块基线更容易通过扩充数据实现系统化综合。

    Feb, 2022

  • 探究语言系统性

    本文讨论深度自然语言理解模型的系统性问题，通过在自然语言推理（NLI）中进行一系列实验，证明了一些 NLU 系统虽然不具备系统性，但仍能够达到高的整体表现。

    May, 2020

  • 通过有意义的学习重新审视系统化泛化

    通过对人类意义学习能力的重新审视，本文重新评估语序 - 语序模型在新旧概念之间语义联系的条件下所具有的组合技能，证明了它能够通过语义关联来成功地进行一次性泛化到新概念和组合中，这为更高级的学习方案揭示了现代神经网络在系统概括中的潜力。

    Mar, 2020

  • D3：面向视觉问答中系统化概括的数据多样性设计

    通过研究可视化问答问题，我们发现培训数据多样性对于实现系统化概括至关重要，而简单任务的多样性在实现系统化概括方面起着关键作用。同时，我们观察到神经模块网络利用了我们评估的所有数据多样性形式，而整体架构需要更多的数据来实现相同的效果。这些发现对于理解数据多样性设计、神经网络架构和系统化概括能力之间的相互作用提供了初步的认识。

    Sep, 2023

  • 神经网络中的泛化：一项广泛调查

    本文综述了神经网络模型不同抽象级别的概念、建模方法和最近的研究发现，包括网络模型的概括、分布、域、任务、模式和范围的泛化，着重于在各泛化层次上存在的问题，例如过拟合问题和域适应问题。

    Sep, 2022

  • gSCAN 的语言条件嵌入上的系统泛化

    通过动态消息传递学习对象的情境嵌入，我们提出了一种新的方法，以输入的自然语言为条件，并通过端到端深度学习模块进行训练，以实现系统化泛化，该模型在 grounded-SCAN 上达到了最优性能。

    Sep, 2020

  • 通过集合论理解泛化

    通过集合理论推导和实验，我们对泛化进行定义并提出了一种有效的泛化方法，实验证实了定义的准确性和方法的有效性。

    Nov, 2023

  • 神经语言模型中的语法推广的系统评估

    我们对神经语言模型的句法知识进行了系统评估，发现模型架构的不同对句法泛化性能产生了显著影响，而不同数据集大小的影响相对较低。

    May, 2020

  • 重新思考泛化需要重新审视旧观念：统计力学方法和复杂学习行为

    本文介绍了一种超越当前流行的最坏情况的理论控制框架，重新审视神经网络的统计力学的古老理论，并使用一个名为 VSDL 的模型来描述当算法过早停止或输入加噪声时会增加的温度和减少的数据量对深度神经网络的控制效果，进而提供了关于其过度拟合训练数据、学习算法波动和转变的一种新的定性描述。

    Oct, 2017