CVPRJan, 2019

GIF2Video：GIF 图像的颜色去量化和时间插值

PDF
TL;DR本文提出了 GIF2Video 方法，这是第一个应用于 GIF 图像增强的基于学习的方法，利用 CNN 网络实现了颜色去量化和时间插值等方面的帧重建与修复，实验结果表明，该方法优于现有基线方法和先进技术，可以显著改善 GIF 动画的视觉质量。
gifvisual quality enhancementlearning-based methodcnn architecturecolor quantization
发现论文，激发创造
  • Pix2Gif: 基于动态扩散的 GIF 生成

    我们提出了 Pix2Gif，一种用于图像到 GIF（视频）生成的运动引导扩散模型。通过将任务表述为由文本和运动幅度提示引导的图像转换问题，我们以不同的方式解决了这个问题。为了确保模型遵循运动引导，我们提出了一种新的运动引导变形模块，以在两种提示的条件下空间转换源图像的特征。此外，我们引入了一个感知损失，确保变换后的特征图与目标图像保持相同的空间，以确保内容的一致性和连贯性。在模型训练准备阶段，我们通过从 TGIF 视频标题数据集中提取一致的图像帧来精心筛选数据，该数据集提供了关于主题的时序变化的丰富信息。在预训练之后，我们以零样本的方式将我们的模型应用于多个视频数据集。广泛的定性和定量实验证明了我们的模型的有效性 - 它不仅捕捉了文本的语义提示，还捕捉了运动引导的空间提示。我们使用一个 16xV100 GPU 节点训练所有模型。代码、数据集和模型在此 https URL 中公开。

    Mar, 2024

  • 图像插值在视频压缩中的应用

    本文提出了一种基于端到端深度学习编解码器的视频压缩算法，它利用图像差值技术，通过对 H.261、MPEG-4 Part 2 等编解码器的优化，性能表现与 H.264 相当。

    Apr, 2018

  • 从视频自动生成动态 GIF：Video2GIF

    本文提出了一种利用用户生成的 GIF 内容自动生成 GIF 的方法，并提出了一种 Robust Deep RankNet，用于根据 suitability 生成 video 的 ranked list。在大量的用户生成数据上，本模型可识别出流行的 GIF 模式并具有鲁棒性（robust）和较高的准确度（advantage）。

    May, 2016

  • 量化引导的 JPEG 伪影校正

    摘要：本文介绍了一种新颖的体系结构，该体系结构由 JPEG 文件量化矩阵参数化，可以实现单个模型在多个不同的质量设置上达到比专门针对不同质量设置训练的模型更好的性能。该模型的训练利用了深度神经网络技术，以解决在 JPEG 图像压缩算法中存在的失真纠正问题。

    Apr, 2020

  • 解耦内容与运动进行条件图像到视频的生成

    通过将目标 RGB 像素分解成空间内容和时间运动两个不同的组成部分，我们提出了一种解决传统 RGB 像素空间方法中涉及建模动作一致性和视觉连贯性限制的新方法。通过显式建模时间运动并将其应用于起始图像，我们改进了生成视频的时间一致性，减少了空间冗余，突出了时间细节。大量实验证实了我们的方法相对于大多数最先进的方法在效果和效率上的卓越性能。

    Nov, 2023

  • 自动时空连贯的视频上色

    本文介绍了一种基于敌对生成网络的图像着色方法，可以实现在动漫制作领域中对线描进行快速稳定的着色，从而加快制作进度，减少成本。

    Apr, 2019

  • 基于 3D 条件生成对抗网络的自动视频上色

    本文提出一种利用生成对抗网络进行视频自动上色的方法，采用三维卷积层和反卷积层进行操作并结合亮度信息，在黑白电影数据集上获得成功，使用新提出的指标对上色结果的一致性进行数值验证。

    May, 2019

  • 端到端优化的图像压缩

    描述一种图像压缩方法，其由非线性分析变换、均匀量化器和非线性合成变换构成，并使用卷积线性滤波器和非线性激活函数的三个连续阶段构建变换，其中联合非线性性选择实现形式的局部增益控制，利用随机梯度下降的变体优化整个模型以实现训练图像数据库的速率失真性能，以及一个连续的代理来引入量化器产生的不连续损失函数，具有比标准 JPEG 和 JPEG2000 压缩方法更好的速率失真性能，并且在所有位率下对所有图像的视觉质量均有显著提高。

    Nov, 2016

  • 野外场景下深度动画视频插帧

    本研究针对动画视频插帧问题，提出 AnimeInterp 框架，包括 Segment-Guided Matching 和 Recurrent Flow Refinement 模块，能够有效解决动画视频的颜色匹配和非线性动作问题，该方法在大规模动画三重奏数据集 ATD-12K 上表现优于现有最先进的插帧方法，并具有较优的视觉质量和鲁棒性。

    Apr, 2021

  • 时间上一致的语义视频编辑

    本文提出一种简单而有效的方法来实现一致性视频编辑，通过优化潜在编码和预先训练的生成器，减少时间光度不一致，并在不同领域和 GAN 逆推技术上得到了有利的结果。

    Jun, 2022