May, 2024

关于组合性和递增学习的二阶视角

PDF
TL;DR对深度预训练模型进行微调最近揭示了其具有组合特性能力，从而使得多个专门模块能任意组合成一个多任务模型。本文通过对损失函数的二阶泰勒近似方法进行理论研究，试图揭示标准非线性网络中组合特性的奥秘，强调了处于预训练盆地内对于实现可组合模块的重要性，并提出了两种双增量训练算法：一种从多个独立模型进行训练的角度，另一种旨在优化整个组合模型。我们测试它们在增量分类任务中的应用，并突出了一些可贵的技能。实际上，增量学习的模块池不仅支持创建有效的多任务模型，还能够进行遗忘和特定任务的专门化。
fine-tuningcompositionalitypre-trainingincremental trainingmulti-task model
发现论文，激发创造
  • 发现组件化概括性的模块化解决方案

    通过模块性和超网络的研究，我们证明了从有限数据中的元学习可以发现能够组合性地概括的模块化解决方案。

    Dec, 2023

  • 组合成分分解：神经网络如何泛化？

    本研究基于多种语言和哲学理论对构成性的不同解释，提出了五个理论有据的测试方法，用于评估神经语言模型的构成性能力，结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。

    Aug, 2019

  • 神经模型中组成通用能力的研究

    该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。

    Jun, 2020

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 路由网络与模块化、组合计算的挑战

    本文研究细致分析了组合学习中需要同时学习模块参数和它们的组合时所面临的挑战并探索了一种名为路由网络的解决方案，考察了该算法在模块组合决策、模块更新和正则化方面对结果的影响。

    Apr, 2019

  • 神经网络中组合性实现

    本文详细比较了两种序列模型在试图解决合成任务时的差别，通过更多的监督信号，辅助注意机制，参数空间和隐藏层激活机制的不同，发现具有引导性的网络在识别更组合解决方案方面具有更高的效率，并且展现出更加模块化的神经元特点。

    Jun, 2019

  • 独立模块化网络

    该论文探讨神经网络的组成特性以及地位，提出了一种基于模块化的网络结构，利用预定的角色将模块拆分，同时提供对模块崩溃问题的解决方案，提高了整个网络的鲁棒性和解析准确性。

    Jun, 2023

  • 组合性作为词汇对称性

    该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。

    Jan, 2022

  • 重塑熟悉：测试循环网络的组合泛化能力

    研究表明，在小范围模拟的语言理解任务中，seq2seq 模型具有很强的单词和短语的组合能力，但是当需要推导出新的组合规则时，模型的表现则很糟糕，需要更多的训练。

    Jul, 2018

  • 教授卷积神经网络组合性

    本文提出了一种扩充并训练卷积神经网络的方法，使其学到的特征是组成式的，并促进对对象的分离。实验表明，这种组成式特征学习方法在目标识别任务中相比非组成式基线可以获得更好的性能提升。

    Jun, 2017