Feb, 2023

神经符号连续学习：知识、推理快捷方式和概念复述

PDF
TL;DR我们介绍了一种神经符号连续学习的方法，其中模型必须解决一系列神经符号任务，即它必须将子符号输入映射到高级概念，并通过符合先前知识的推理计算预测。我们提出了 COOL，一种面向神经符号连续问题的概念级连续学习策略，并在三个新的基准测试中进行了实验，这表明 COOL 在其他策略失败的神经符号连续学习任务上具有持续的高性能。
neuro-symbolic continual learningneuro-symbolic tasksprior knowledgecoolconcept-level continual learning
发现论文，激发创造
  • 强化连续学习

    本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

    May, 2018

  • 连续推理：利用连续学习在神经符号 AI 中进行非单调推理

    本文介绍一种称为连续推理的新方法，该方法将神经符号系统与知识和数据的循环学习相结合，以应对非单调推理任务，并在结果上显示了显著的改进。

    May, 2023

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 生命周期学习中基于共同表示空间的任务感知信息路由

    本研究提出了 TAMiL 方法，应用任务注意模块和自动编码器捕捉共同表示空间中的任务特定信息，并在全局工作区中保留任务相关信息以缓解灾难性遗忘现象。实验结果表明，该方法优于现有基于重新玩彩和动态稀疏方法的连续学习方法。

    Feb, 2023

  • 分离记忆编辑与模型更新的解耦继续学习

    机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

    Dec, 2023

  • 神经符号推理快捷方式：缓解策略及其局限性

    通过建立神经符号预测器 (即从子符号输入到更高层概念的映射) 提出了一种深度学习的 setup，然后在这种中间表示上进行 (概率) 逻辑推理。本文建立了推理捷径与损失函数的 optima 之间的形式链接，并确定了推理捷径可能出现的情况。在此基础上，讨论了诸如重构和概念监督等自然缓解策略的局限性。

    Mar, 2023

  • 神经符号概念学习器：从自然监督中解释场景、单词和句子

    提出了一种无需显式监督，通过观察图片和配对问答学习视觉概念、单词和句子语义分析的神经符号概念学习器，其通过神经符号推理模块将符号程序执行于潜在场景表示，辅助学习新词并解析新句子，使用课程学习指导对图像和语言的复合空间进行搜索，并进行了广泛实验来证实其在学习视觉概念、单词表示和语义分析方面的准确性和效率。

    Apr, 2019

  • 草图 - 计划 - 泛化：语言引导机器人操作中归纳通用化空间概念的持续少样本学习

    构建具有物理表征特性的神经符号方法，以逐渐学习概括性空间概念，用于创造塔的高度等任务，并在连续学习中实现在新概念上的归纳推理能力超越现有基准线。

    Apr, 2024

  • 神经符号训练用于空间语言推理

    通过使用神经符号技术对语言模型进行培训，可以利用推理的逻辑规则作为约束，并为模型提供额外的监督来源，以弥补由于无法达到所需的抽象水平而在未观察到的复杂输入组合中难以提供解决方案的问题。我们聚焦于文本上的空间推理这一具有挑战性的问题，通过在多个语言模型上的多个基准测试中的结果验证了基于神经符号训练的有效领域转移假设。

    Jun, 2024