Jul, 2023

使用通用强化学习实现图像变换序列检索

PDF
TL;DR本文介绍了图像变换序列检索（ITSR）任务，提出一种基于强化学习的解决方案，即 Monte Carlo 树搜索（MCTS）和深度神经网络相结合的模型训练方法，并通过实验结果证明其效果优于监督训练。
image transformation sequence retrievalmodel-based reinforcement learningmonte carlo tree searchdeep neural networksupervised training
发现论文，激发创造
  • 图像对图像的深度强化学习翻译

    通过深度强化学习将图像到图像翻译问题重新定义为逐步决策问题，提出了一种新的基于强化学习的框架，该框架将学习过程分解成小步骤，使用轻量级模型逐步转换源图像到目标图像，并引入次级策略和计划的概念来解决高维连续状态和动作空间的问题，在此框架中采用特定任务的辅助学习策略以稳定训练过程并提升性能。

    Sep, 2023

  • STIR: 用于图像检索后处理的孪生 Transformer

    该研究提出了一种基于三元损失的简化模型和一种用于图像检索的新方法 STIR，它采用注意力机制在像素级别上直接比较查询图像和候选图像，不需要全局 / 局部特征提取，能够在标准图像检索数据集上定义新的技术状态。

    Apr, 2023

  • 分层决策 Transformer

    本文提出了一种层次算法用于从演示中学习序列模型，可解决强化学习中的任务策略估计问题，通过选择子目标来指导低层控制器完成任务，改善了以往方法的性能，并证明了其在多项任务中优于基线方法，表明层次模型适用于从演示中学习序列模型。

    Sep, 2022

  • 图像字幕的自我批判序列训练

    本研究通过自我批判的序列训练 (SCST) 优化了图像说明系统，采用强化学习的政策梯度方法直接训练系统，并使用 MSCOCO 测试指标，使性能显著提高，实现了针对端到端系统直接优化非可微分度量的目标。

    Dec, 2016

  • SiT: 对称不变 Transformer 在强化学习中的泛化

    一项关于使用自监督方法改进泛化性能、处理图形对称注意力及展示改进结果的研究，使用 Symmetry-Invariant Transformer (SiT) 扩展 Vision Transformer (ViT) 的方法在 MiniGrid、Procgen RL 基准测试上展示了优于 ViTs 的泛化能力，并在 Atari 100k 和 CIFAR10 上体现了更高的样本效率。

    Jun, 2024

  • 屏幕内容图像连续超分辨率的隐式变换网络

    针对面向屏幕内容的超分辨率问题，本文提出一个新的 ITSRN 网络来实现高质量的连续超分辨率，该网络的关键在于调整像素的查询坐标并使用隐式位置编码方案对邻近像素值进行聚合，实验表明该方法在解决压缩和非压缩 SCI 方面优于其他 SR 方法。

    Dec, 2021

  • JIST：序列视觉地点识别的联合图像和序列训练

    通过利用 JIST 和 SeqGeM 提出的多任务学习框架和序列嵌入池化方法，本研究旨在通过视觉线索识别之前访问过的地点，以解决标记数据获取困难的问题，并在速度、嵌入大小、架构轻量化和处理多长度序列等方面优于现有技术。

    Mar, 2024

  • 基于双重强化的图像去混淆规范生成

    本研究探讨了使用 LSTM-RNN 与 Transformer 网络作为解码器对无序图形程序进行识别的有效性，以及使用具有多样性奖励的强化学习方法来增强解码器的感知偏差，并在两个图形程序生成数据集上实现了最先进的结果。

    Mar, 2021

  • 超越融合：一种用于遥感图像 - 文本检索的多尺度对齐方法

    遥感图像文本检索领域的研究论文，介绍了一种新的多尺度对齐方法，使用多尺度图像特征和本地化文本特征进行交叉对齐，并引入语义对齐损失与跨尺度多模态语义一致性损失，通过在多个数据集上的评估证明了其优越性。

    May, 2024

  • 端到端可训练的基于图像序列识别的神经网络及其在场景文本识别中的应用

    本文提出了一种新颖的神经网络架构，将特征提取、序列建模和转录集成到统一框架中，用于场景文本识别，相比现有算法其具有端到端训练，不需要一定的词典限制，更加适合实际应用等优点，在标准测试数据上展现出更好的性能。

    Jul, 2015