ICCVSep, 2023

使用代码重写家族来提高无监督视觉程序推断

PDF
TL;DR通过代码重写来改进从视觉数据中推断程序的系统，我们提出了一种名为 Sparse Intermittent Rewrite Injection (SIRI) 的无监督引导式学习框架，并设计了一系列适用于可视化编程领域的代码重写器，最终展示了使用 SIRI 和这些代码重写器的性能改进，包括更好的重建和更快的收敛速度。
programscode rewritingvisual dataunsupervised learningreconstruction
发现论文，激发创造
  • 学习推理程序草图

    本文介绍一种用于程序自动合成的方法，通过结合模式识别和显式推理来解决这些复杂的编程问题，同时使用新颖的中间表示和训练算法，使程序合成系统能够自学，从而在简单的英文描述编程问题数据集上取得了最先进的性能表现。

    Feb, 2019

  • SiRi: 一个用于基于 Transformer 的视觉定位的简单选择性微调机制

    本文研究如何使用现代视觉语言转换器实现更好的视觉定位，并提出一种简单而强大的选择性重新训练（SiRi）机制。使用 SiRi 可以显着优于以前的方法，在三个受欢迎的基准测试中表现出更好的性能，即使在有限的训练数据下也表现出惊人的优越性。同时，我们也将它扩展到基于 transformer 的视觉定位模型和其他视觉语言任务中以验证其有效性。

    Jul, 2022

  • ShapeCoder: 从非结构化基元中发现视觉程序的抽象

    ShapeCoder 是第一个可以自动发现并使用抽象化函数来解释给定形状的系统，它使用了形状到程序识别网络和增强的 E 图来发现更好的抽象化函数，并在多个数据集上实现了更好的数据压缩。

    May, 2023

  • 递归视觉编程

    通过递归的视觉编程方法来应对编码解决视觉问答任务，简化生成的代码、提供更高效的问题解决能力以及更好管理复杂的数据结构，并通过广泛实验验证了该方法的有效性。

    Dec, 2023

  • 视觉编程：无需训练的构成性视觉推理

    VISPROG 是一种神经符号方法，用于解决复杂和组合的视觉任务，所需的仅是自然语言指令，通过生成类似 Python 的模块化程序来实现，每行程序可以调用各种计算机视觉模型，图像处理算法或 Python 函数以产生中间输出，展示了其在 4 个不同的任务上的灵活性 。

    Nov, 2022

  • 推断和执行视觉推理程序

    本文采用模块化网络模型，使用神经网络实现程序生成器和执行引擎，通过反向传播和 REINFORCE 的训练方法，在视觉推理任务（CLEVR）上打破基线模型，表现显著优越，并在各种环境中具有更好的推广性能。

    May, 2017

  • 学习使用图形来表示程序

    本文介绍了如何使用图表示代码的句法和语义结构，并使用基于图的深度学习方法来学习对程序结构进行推理的方法。作者在两个任务上对该方法进行了评估：VarNaming 和 VarMisuse，结果表明使用已知结构的建模方法具有优势，并且可以在许多情况下学习推理有意义的变量名和解决 VarMisuse 任务，并且 VarMisuse 还可以发现成熟开源项目中的错误。

    Nov, 2017

  • 基于神经符号和跨语言中间表示的零 - shot 代码克隆

    本文提出了神经符号方法，通过中间表示（IR）和 UnixCoder 优化，实现了 COBOL 代码克隆任务，取得了 12.85 MAP@2 的表现提升。

    Apr, 2023

  • 可编程可解释强化学习

    提出了一种编程可解释性强的强化学习框架 (PIRL)，使用高级领域特定编程语言表示策略，提出了基于神经网络生成的策略的可验证和可解释的替代方案，用基于神经网络的 NDPS 算法来优化 PIRL 策略，这种策略较容易被解释和验证，实验结果证明，与传统的深度强化学习相比，PIRL 策略的轨迹更平滑易于迁移。

    Apr, 2018

  • 多樣視頻演示生成程序

    本文介绍一种可以从视频演示中提取概括性规则的模型，并探讨了其处理多个序列的能力，从而相较于传统的概括技术可以更好地利用边缘情况，并无需进行额外的过滤。通过在 Vizdoom 环境中合成程序的实验，取得了相对于现有工作的 11.75% 的程序准确性的提升。

    Feb, 2023