May, 2024

构成概括的一般理论

PDF
TL;DR本研究从无任务偏见的视角探索了合成泛化问题，通过理论发现：1）在合成泛化中没有通用解决方案；2）提出了适用于任何合成泛化问题的新型泛化界限，指定了有效合成泛化解决方案的条件；和 3）引入生成效应以增强对合成泛化问题及其解决方案的理解，为合成泛化问题提供了一个普适理论，可以与特定任务场景下的先前定理相结合以全面理解合成泛化。
compositional generalizationdeep neural networktask-agnostic perspectiveno free lunch theoremgenerative effect
发现论文，激发创造
  • 从第一原则开始的组合泛化

    本篇论文从识别可表达性学习出发，将组合性视为数据生成过程的属性而非数据本身，并提出了仅取决于训练分布和模型架构的轻微条件，为组合泛化建立了理论框架，并验证了其应用于现实世界场景的结论，从而为组合泛化的原则性理论研究铺平了道路。

    Jul, 2023

  • 通过学习分析表达式实现组合泛化

    通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型，该模型由两个协同神经模块组成，一个是 Composer，另一个是 Solver，通过分层强化学习算法进行端到端训练，实现变通组合能力，其在 well-known benchmark SCAN 上的实验表明，我们的模型具有极强的组合泛化能力，以 100％精度解决了之前工作中面临的所有挑战。

    Jun, 2020

  • 神经模型中组成通用能力的研究

    该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。

    Jun, 2020

  • 组合网络实现基于场景的语言理解的系统性泛化

    提出通过遵循组成性原则来训练神经网络解决语言理解的挑战，并通用地应用于多种领域，进而提高机器人的安全性和公平性，所提出的网络能够显着提高自然语言理解能力，且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。

    Aug, 2020

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 基本替换的构成性泛化

    本研究探索使用双重表示来编码组合性，一种生成注意力图，另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中，实验结果显示本方法对于传统方法有显著的改进，协助实现人类级别的组合语言学习。

    Oct, 2019

  • 系统化综合的组合式程序生成

    给定一篇研究论文，通过训练神经符号结构的组合程序生成器（CPG），实现少样本学习和按长度生产序列到序列语言任务的通用性。

    Sep, 2023

  • 自动组合表示变换以促进泛化

    介绍了一种广泛适用的形式主义，即组合问题图，以解决机器学习中不利于推广的问题，提出了组合泛化问题并引入组合递归学习器，该框架适用于学习算法过程以组合表示转换，从而产生能够进行推理的学习器。

    Jul, 2018

  • 应用程序合成概括综述

    本文全面回顾了构成性泛化在多个实际应用领域的最新发展，介绍了常见应用分类法，并总结了每个领域的最新技术现状。此外，我们还确定了重要的当前趋势，并提供了有关这一新兴领域未来的新观点。

    Feb, 2023

  • 通过结构标注提高分类任务中的组合泛化能力

    本文研究了复合推理在分类任务中的应用，并提出结构提示（如句法树和实体链接）对于解决神经模型复合推理问题具有较好的效果。

    Jun, 2021