May, 2023

通过多跳指令进行图像操作 -- 新数据集和弱监督的神经符号化方法

PDF
TL;DR本篇研究提出一种名为 NeuroSIM 的系统，使用基于领域特定语言 (DSL) 的符号程序将自然语言文本转化为图像操作，实现多模态空间的复杂推理，仅需要视觉问题回答（VQA）的标注数据即可。实验证明，该系统在图像操作方面表现出与已有的监督式数据基准相媲美或胜过的结果。
发现论文，激发创造
  • 学习神经符号程序用于语言引导机器人操控

    通过一种模块化结构，使用符号推理构造深度物体中心推理模型，从而训练出一种可以执行机器人操作的模型，此模型具有优秀的通用性和端到端的可训练性。

    Nov, 2022

  • 自然语言指令命令下的交互式图像操作

    本论文提出了能够通过自然语言指令生成目标图像的交互式图像处理系统，使用了神经网络处理潜在空间中的图像向量将源向量转换为目标向量，成功地在我们的数据集中利用源图像和操作指令生成目标图像，从而实现更可控、更实用的自然语言条件下的图像生成。

    Feb, 2018

  • 学习操控艺术图像

    本文提出了一种基于任意风格图像操作网络（SIM-Net）的方法，该方法利用无语义信息作为指导并采用自我监督策略中的区域传输策略进行图像生成。定性和定量实验证明了我们的方法相较于现有方法的优越性。

    Jan, 2024

  • 基于文本的神经运算：通过文本指令进行图像操作

    本研究提出一种基于 GAN 的多模态图片编辑方法，利用自然语言指令局部修改图片特征，实现对包含多个对象的图像进行编辑，并在三个公共数据集上展示出优异的表现，包括更高的保真度和语义相关性以及更好的图像检索性能。

    Aug, 2020

  • 基于神经符号方法的交互指令跟随模型的物体和指令变化鲁棒性改进

    通过提出神经符号化方法，将高级符号特征用作中间表征，来解决自然语言指令和第一视角视觉映射到与 3D 环境中对象进行交互的操作序列时神经网络特征提取对小的改变过于敏感而未能适应测试集中未见过的属性和指令的问题。在 ALFRED 基准测试的子任务评估中，我们的实验结果表明，和端到端的神经模型相比，我们的方法在切换对象、拿起对象和切片对象的成功率等未知环境下的交互任务中显着优于前者 9 点，46 点和 74 点。

    Oct, 2021

  • 神经符号概念学习器：从自然监督中解释场景、单词和句子

    提出了一种无需显式监督，通过观察图片和配对问答学习视觉概念、单词和句子语义分析的神经符号概念学习器，其通过神经符号推理模块将符号程序执行于潜在场景表示，辅助学习新词并解析新句子，使用课程学习指导对图像和语言的复合空间进行搜索，并进行了广泛实验来证实其在学习视觉概念、单词表示和语义分析方面的准确性和效率。

    Apr, 2019

  • 基于神经符号方法的弱监督推理

    深度学习在自然语言处理 (NLP) 任务中取得了显著进展，本研究提出了一种神经符号学习方法，将符号主义和连接主义两种人工智能学派相结合，通过强化学习或其弱化版本在下游任务中实现具有符号潜在结构的神经系统的弱监督推理。该框架已成功应用于表格查询推理、句法结构推理、信息抽取推理和规则推理等各种任务。

    Sep, 2023

  • 从原始数据学习答集程序的神经符号学习

    本文介绍了一种名为 NSIL 的神经符号归纳学习方法，通过训练一个通用神经网络，从原始数据中提取潜在的概念，同时学习映射潜在概念与目标标签的符号知识，从而解决复杂决策问题。我们在三个不同复杂度的问题领域上评估了 NSIL，包括 NP 完全问题。结果表明，NSIL 学习到了表达丰富的符号知识，能够解决计算复杂的问题，并在准确性和数据效率方面取得了最先进的性能。

    May, 2022

  • 利用逻辑背景知识改进基于神经网络的分类

    我们提出了一种新的用于有命题背景知识的监督多标签分类的形式化方法，称为推理中的语义调整，其在推理过程中限制系统而不影响训练，相比于另外两种常见的神经符号技术（语义调整和语义正则化），我们讨论了其在理论和实际上的优势，并开发了一种新的多尺度方法来评估神经符号技术的好处随着网络规模的演化，通过对多个数据集的实验和比较，我们的结果表明，推理中的语义调整可以用于构建更准确的基于神经网络的系统，使用更少的资源，并确保输出的语义一致性。

    Feb, 2024

  • 交互式机器人操作的混合组合推理方法

    本文介绍了一种神经符号 (混合) 组合推理模型，以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明，该方法达到了非常高的准确性，同时可以进行少量的视觉微调，从而实现了真实场景的可转移性。

    Oct, 2022