基于双重强化的图像去混淆规范生成

AAAIMar, 2021

基于双重强化的图像去混淆规范生成

Dual Reinforcement-Based Specification Generation for Image De-Rendering

Ramakanth Pasunuru, David Rosenberg, Gideon Mann, Mohit Bansal

TL;DR本研究探讨了使用 LSTM-RNN 与 Transformer 网络作为解码器对无序图形程序进行识别的有效性，以及使用具有多样性奖励的强化学习方法来增强解码器的感知偏差，并在两个图形程序生成数据集上实现了最先进的结果。

Abstract

Advances in deep learning have led to promising progress in inferring graphics programs by de-rendering computer-generated images. However, current methods do not explore which decoding methods lead to better ind

deep learning graphics programs lstm-rnn transformer networks reinforcement learning

发现论文，激发创造

使用强化对抗学习合成图像程序

通过使用图形引擎和敌对训练，我们设计了一个无监督的生成模型，可以通过输出与真实数据不可区分的渲染图像来提高图像生成的效果。

Apr, 2018

深度强化学习生成文本

提出了一种基于深度强化学习（Deep Q-Network, DQN）的序列到序列学习中，通过迭代的方式对输出序列进行解码的新型模式，旨在使解码器优先处理较为容易的序列部分，然后再处理较为困难的部分。

Oct, 2015

基于混合深度学习技术 (CNN+GRU) 的图像字幕算法

本篇论文主要介绍了一种基于 CNN-GRU 编码器 - 解码器框架的图像描述生成模型，相较于常用的 CNN-LSTM 模型，该模型考虑了图片的语义信息和时间复杂度，且在时间复杂度和准确性上优于目前最先进的 LSTM-A5 模型。

Jan, 2023

基于注意力层次解码器的自动生成图形程序

该论文提出了一种基于注意力机制的分层代码生成模型，可更细致地描述图形用户界面 (GUI) 中的图片，并生成与 GUI 中图形元素的分层布局一致的代码，通过实验证明该模型优于当下其他最先进的方法。

Oct, 2018

决策变压器：通过序列建模的强化学习

本文基于序列建模思路，提出一种将强化学习抽象为序列建模问题的框架，使用 Transformer 架构和相关的语言建模技术（如 GPT-x 和 BERT）来解决增强学习任务，其中提出的 Decision Transformer 模型可以通过自回归模型来输出未来的动作并获得预期回报，其性能在 Atari、OpenAI Gym 和 Key-to-Door 等实验中达到了业界领先水平。

Jun, 2021

利用空间 LSTMs 生成图像模型

本文中介绍了一种基于多维 LSTM 的递归图像模型，该模型可以捕获长距离像素之间的统计依赖，适用于纹理合成和补全等多项任务，并在多个图像数据集上的定量比较中表现优异。

Jun, 2015

基于 Transformer 的强化学习的分子全新设计

我们介绍了一种用于分子全新设计的 Transformer 基准生成模型的微调方法，利用 Transformer 相比循环神经网络 (RNNs) 的优越序列学习能力，我们的模型可以有效地生成具有期望属性的分子结构。与传统的基于 RNN 的模型相比，我们提出的方法在生成被预测为对多种生物目标活性化合物方面表现出优秀性能，捕捉分子结构序列中的长期依赖关系。通过生成查询结构的类似物和产生具有特定属性的化合物等多项任务的验证，我们的方法在性能上优于基准的基于 RNN 的方法。我们的方法可用于脱轴融合 (scaffold hopping)，从单个分子开始的库扩展，以及生成对生物目标具有高预测活性的化合物。

Oct, 2023

增强解码器：训练递归神经网络进行时间序列预测

本研究提出了一种名为增强解码器的新型训练方法，通过引入辅助模型生成备用解码器输入来解决多步骤时间序列预测中的累积误差问题，并利用强化学习算法动态选择最优输入以提高准确性。综合实验表明，该方法在多个数据集上优于常见训练方法。此外，该方法在基于自注意力的序列到序列预测模型中同样表现良好。

Jun, 2024

CodeRL: 通过预训练模型和深度强化学习掌握代码生成

CodeRL 使用预训练的语言模型和深度强化学习框架解决了程序合成中标准的有监督微调的一些局限，同时在 APPs 和 MBPP 基准测试中创造了新的 SOTA 结果。

Jul, 2022

图像变换器

在这项工作中，我们将基于自我关注机制的模型架构 ——Transformer 模型，泛化到图像生成的序列建模问题上，并通过限制自我关注机制只关注局部邻域，显著提高了模型能够实际处理的图像大小，同时在图像生成方面显著优于当前最优秀的状态，提高了 ImageNet 上最佳公布的负对数似然从 3.83 到 3.77，同时还针对大放大倍数进行了图像超分辨率实验。在人类评估研究中，我们发现，我们超分辨率模型生成的图像比先前的最优模型更能欺骗人类观察者。

Feb, 2018