从神经表征到符号知识的转变
本文提出了一种完整的神经符号方法,用于以端到端的方式将图像处理为对象,并在学习关系和逻辑规则方面。主要贡献是以可微分层为基础,从而可以通过剪枝和阈值确定符号关系和规则。我们使用两个数据集进行模型评估:符号规则学习的子图同构任务和学习对象,关系和规则的复合关系的图像分类域。结果表明,该模型超越最先进的符号学习者并优于深度关系神经网络架构。
Jun, 2021
研究论文提出了使用神经网络来获得离散表示的机器语言的想法,并指出相比连续特征表示,离散语言表示在解释性、泛化能力和鲁棒性方面具有多个优势。
Jan, 2022
本文提出了一种名为 Deep Symbolic Learning(DSL)的神经符号集成系统,它可以同时学习感知和符号函数,并且能够在可微分的神经网络学习管道中创建内部(可解释的)符号表示,以最好的方式解释数据。
Aug, 2022
深度学习与神经符号整合是解决深度学习普适性和推理任务的挑战,通过预训练神经模型并通过迁移学习注入感知部分的权重,可以改善当前神经符号方法中的收敛速度、复杂感知任务的学习难度和局部最小值问题。
Feb, 2024
通过深度学习方法研究自然语言处理,通过训练紧密连接的编码器 / 解码器,在传统的指示语言环境和对比学习环境中开发了一个专用于视觉数据表示的私有语言,并且通过神经机器翻译和随机森林分类的分类层将符号表示转化为类别标签。通过两个实验,旨在进行物体识别和动作识别,研究了从真实图像中生成的草图以及从 3D 运动捕获系统生成的 2D 轨迹,通过梯度加权类激活映射(Grad-CAM)方法和 t-SNE 方法解释了学习到的符号和嵌入。
Sep, 2023
本文介绍了一种新的用于神经符号计算的学习框架,其中引入了语法模型和反向搜索算法来优化符号推理模块中的误差传播,本文将所提出的学习框架解释为最大似然估计,算法则解释为 Metropolis-Hastings 采样器,实验结果表明,本文方法相对于强化学习方法在性能、收敛速度和数据效率等方面均有显著提升。
Jun, 2020
该研究提出使用双层模型进行概念表示,同时提出了具体化概念表示和符号化概念表示,并倡导了在深度学习中使用两者结合的方法,论述了双具体化 - 符号化概念表示的用途和价值,包括知识蒸馏和图像文本匹配,并讨论了两种重要的符号 AI 整合方式:场景图生成和多模式知识图谱。
Mar, 2022
提出一种新的问题,即视觉鉴别谜题(VDP),要求发现可解释的鉴别器以按照逻辑规范对图像进行分类,用组合的神经符号框架结合神经网络和符号学习器,实现机器学习模型的合并来处理高级认知任务。
Jul, 2019
本文提出了两个标准评估 transformer 网络在 NLP 中的 symbolic capacities,并指出当前关于其 symbolic 特性的研究结果基于实验设计的固有缺陷,进而在 T5 Transformer 上进行了四项序列建模实验研究。
Feb, 2022
本文提出了生成神经符号机,它是一种将分散和符号表示的优点相结合的生成模型,支持符号组件的结构化表示和基于密度的图像生成。该模型在结构精度和图像生成质量方面显著优于以前的结构表示模型以及现有的非结构生成模型。
Oct, 2020