Sep, 2023

图像对图像的深度强化学习翻译

PDF
TL;DR通过深度强化学习将图像到图像翻译问题重新定义为逐步决策问题，提出了一种新的基于强化学习的框架，该框架将学习过程分解成小步骤，使用轻量级模型逐步转换源图像到目标图像，并引入次级策略和计划的概念来解决高维连续状态和动作空间的问题，在此框架中采用特定任务的辅助学习策略以稳定训练过程并提升性能。
image-to-image translationdeep reinforcement learningstep-wise decision-making problemmeta policytask-specific auxiliary learning
发现论文，激发创造
  • 通过图像翻译实现相关强化学习任务的迁移学习

    通过将视觉迁移任务与控制策略分离，使用不对齐的 GANs 对目标到源域的视觉映射，再使用不完美演示的模仿学习进一步改进，提高了 Deep RL 在 Breakout 合成视觉变体和 Road Fighter 的传输行为中的样本效率和迁移能力。

    May, 2018

  • DiffI2I：高效的图像 - 图像转换扩散模型

    提出了一种名为 DiffI2I 的简单、高效和强大的 I2I 扩散模型，通过引入紧凑的 I2I 先验提取网络（CPEN），动态 I2I 转换器（DI2Iformer）和去噪网络来解决了传统 DM 在某些 I2I 任务中的效率和生成能力方面的问题。通过在各种 I2I 任务上进行广泛实验证明，DiffI2I 在显著减少计算负担的同时达到了 SOTA 水平。

    Aug, 2023

  • DeepI2I：通过 GAN 传递实现深层次图像到图像的翻译

    DeepI2I 为一种新的基于深度学习和层级特征的图像翻译方法，采用转移学习技术和适配器网络解决了高分辨率瓶颈和对小数据集性能较差的问题，在三个数据集上的实验结果表明可以显著提高多类别图像翻译的性能。

    Nov, 2020

  • 图像到图像的翻译：方法和应用

    本文综述了近年来发展的图像翻译技术，重点阐述了该领域的关键技术和取得的进展，以及其在计算机视觉和图像处理领域的应用和对社会的影响，指出相关领域仍存在的挑战。

    Jan, 2021

  • 基于预训练 StyleGAN2 网络的无监督图像到图像的翻译

    通过在预训练的 StyleGAN2 模型上进行一系列的模型变换，我们提出了一种新的图像到图像 (I2I) 转换方法，并提出了一种反演方法，以在源领域和目标领域之间进行 I2I 翻译。定性和定量评估证明了该方法在图像质量、多样性和与输入和参考图像的语义相似性方面具有优越性能，与最先进的作品相比。

    Oct, 2020

  • S2ST：基于隐变分扩散种子空间的图像到图象翻译

    S2ST 是一个新颖的框架，用于在复杂的照片逼真图像中实现全局图像转换，如汽车场景的日夜或晴雨转换，通过利用由潜在扩散模型学习到的强大图像先验，S2ST 在改善保真度的同时保持了目标领域的外观，并超越了基于 GAN 的图像转换方法和基于扩散的方法，并值得注意的是，S2ST 免除了训练领域特定的转换网络的必要性。

    Nov, 2023

  • 低分辨率指导下的领域无关图像翻译

    本论文提出了一种面向细粒度问题的无域图像转换方法，其使用一种全新的方法生成图像，这种方法集中在从源图像提取视觉特征并与低频信息相结合，以生成符合期望的输出图像，该方法在处理面向细粒度问题的图像转换任务时能够生成更真实的图像样本。

    May, 2023

  • 通过对话策略和语言生成之间的替代优化构建面向任务的视觉对话系统

    本研究提出一种新的框架，可有效学习任务导向视觉对话系统的最优对话策略，并在 GuessWhich 任务中实现了最新的任务完成和对话质量表现。

    Sep, 2019

  • 使用通用强化学习实现图像变换序列检索

    本文介绍了图像变换序列检索（ITSR）任务，提出一种基于强化学习的解决方案，即 Monte Carlo 树搜索（MCTS）和深度神经网络相结合的模型训练方法，并通过实验结果证明其效果优于监督训练。

    Jul, 2023

  • 视频游戏的逆强化学习

    通过改良强化学习反求解奖励函数模型的 CNN-AIRL 方法以及使用对电子游戏环境进行了调整的自动编码器将专家演示转化为奖励网络的输入，本文在简单的 Catcher 游戏上取得了高水平表现，显著超越了 CNN-AIRL 基线，但在 Enduro Atari 赛车游戏中表现不佳，这彰显了需要进一步研究的必要性。

    Oct, 2018