AAAIDec, 2019

PixelRL：使用强化学习的全卷积网络进行图像处理

PDF
TL;DR本文提出了一种新颖的深度强化学习方法，即基于像素奖励的强化学习 (pixelRL)，以解决图像处理中的特定任务，如图像去噪、图像恢复、局部颜色增强和基于显著性的图像编辑。通过使用像素智能体来缩小强化学习的范围，提出了一种有效的学习方法，该学习方法不仅考虑了各个像素的未来状态，还考虑了相邻像素的状态。同时，该方法还提高了深度神经网络模型的可解释性和可理解性。
reinforcement learningimage processingpixel-wise rewardsdeep rllearning method
发现论文，激发创造
  • 使用多步强化学习的全卷积网络进行图像处理

    本文介绍了一种新的强化学习方法 —— 像素级奖励 (pixelRL)，加入代理来像素改变像素值，提出了有效地学习方法，可用于各种像素级处理任务中，应用于三个图像处理任务：图像降噪、图像修复和局部调色等，与采用监督学习的现有方法相比，实验结果表明本文提出的方法可以获得相当好的表现。

    Nov, 2018

  • 图像增强即所需：从像素中对深度强化学习进行正则化

    该研究提出了一项简单的数据增强技术，可以应用于标准的无模型强化学习算法，从像素直接学习，无需辅助损失或预训练，并使用图像处理来规范化值函数，实现与 DeepMind 控制套件相关的现有模型的最高表现。

    Apr, 2020

  • 基于像素的自主驾驶城市环境强化学习

    本文介绍了一种新的通过图像学习的强化学习（RLfP）方法，名为 RLAD，用于提高城市自动驾驶（AD）的性能。 该方法包括增强的图像编码器、WayConv1D 和辅助损失等技术，并在 NoCrash 基准测试中明显优于所有其他方法。

    May, 2023

  • 基于扩散模型的像素级强化学习：从丰富反馈中进行强化学习

    扩展了基于人类反馈训练的静态扩散模型生成算法，提出了基于像素的策略优化算法 (PXPO)，通过针对每个像素提供更细致的奖励给模型。

    Apr, 2024

  • 使用深度动态模型从图像像素中高效学习反馈策略

    本文提出了一种数据有效、基于模型的强化学习算法，通过使用像素信息直接学习闭环控制策略，实现了从像素到扭矩的端到端学习。该方法具有快速学习、高维状态空间可扩展、轻量级等优点，并且是解决在连续状态和动作下进行数据有效强化学习问题的重要步骤。

    Oct, 2015

  • 基于实体为中心的从像素到目标操控的强化学习

    这项研究提出了一种适用于表示多个物体及其相互作用的可视强化学习结构化方法，用于学习多个物体的目标条件操纵，并演示了学习使用三个物体但能推广到具有十多个物体的类似任务的代理的能力。

    Apr, 2024

  • InstructRL4Pix：通过强化学习训练图像编辑的扩散

    通过使用增强学习引导图像编辑方法（InstructRL4Pix）来生成由目标对象的注意力地图引导的图像扩散模型，该方法通过计算注意力地图之间的距离作为奖励函数来最大化奖励模型的输出，并使用邻近策略优化（PPO）对扩散模型进行微调，以实现基于自然人命令的准确图像编辑。实验证实 InstructRL4Pix 突破了传统数据集的限制，利用无监督学习来优化编辑目标，并实现了精确的图像编辑。

    Jun, 2024

  • 基于逐层神经网络的像素级仿真机器人学习

    利用 Progressive Networks 框架实现了真实环境中机器人在视觉输入条件下进行复杂任务的学习，该方法可以通过在模拟环境中进行模型训练和预先学习来优化真实世界中的策略和性能，而不必依赖于模型基础的轨迹优化。

    Oct, 2016

  • 像素递归神经网络

    本文介绍了一种深度神经网络模型，用于在两个空间维度上序列预测图像像素；该模型对图像的离散概率进行建模，并在深层循环网络中使用了快速的二维循环层和残差连接，实现了比以前的最新技术更好的自然图像日志似然度分数。

    Jan, 2016

  • ReLLIE：深度强化学习用于定制化低光图像增强

    本研究提出了一种基于深度强化学习的新型低光图像增强方法，称为 ReLLIE，将 LLIE 建模为马尔可夫决策过程，使用轻量级网络计算像素级图像特定曲线，利用非参照损失函数计算的奖励来增强输入的低光图像，ReLLIE 不是进行一一图像转换，而是学习策略，从而可以处理各种低光测量数据，提供定制增强输出。

    Jul, 2021