Jan, 2024

通过利用音频场景语义实现自动图像着色

PDF
TL;DR通过利用音频的额外语义信息，本文提出了一种新颖的自动图像上色网络（AIAIC），它由三个阶段组成，通过颜色图像语义作为桥梁的预训练、学习音频和视觉场景之间的颜色语义相关性以及利用隐式音频语义表示实现音频引导的上色，实验表明音频引导能够有效改善自动着色的性能，特别是对于那些仅仅从视觉模态理解起来比较困难的场景。
automatic image colorizationsemantic understandingaudio-infusedcolorization networkaudio guidance
发现论文，激发创造
  • 可解释的视听视频字幕生成尝试

    本论文介绍了一个多模态卷积神经网络视频字幕框架，通过引入模态感知模块，探索了视听交互对视频理解的影响，并证明该可解释模型在情况选择时取得了可比较的性能。

    Dec, 2018

  • 从语言学习着色

    本文研究了基于语言模型的自动图像上色技术，在此框架下发掘图像中的颜色信息，通过不同的语言输入达到对图像的多样化加工，实现更高准确度的着色效果。

    Apr, 2018

  • 自动上色的学习表示

    我们开发了一个完全自动化的图像上色系统，使用最新的深度网络技术，利用低级别和语义表示，通过预测每个像素的颜色直方图进行训练。无论是在完全自动化的还是部分自动化的上色任务中，我们的方法都优于现有方法。同时，我们也探索使用上色作为自监督视觉表示学习的手段。

    Mar, 2016

  • 基于像素级语义的图像自动上色

    该论文提出了使用像素级对象语义来引导图像上色，并使用具有两个分支的分层神经网络，以便学习对象及其颜色，以提高图像上色的真实感和质量，并引入联合双边上采样层以解决边缘颜色渗漏问题。

    Aug, 2018

  • 基于想象力的自动可控彩色化

    我们提出了一个自动上色的框架，具有迭代编辑和修改的能力，并利用一个想象模块通过理解灰度图像中的内容，利用预训练图像生成模型生成包含相同内容的多个图像用于上色参考，模仿人类专家的过程；我们使用参考修正模块来选择最佳的参考合成；与大多数现有的自动上色算法不同，我们的框架允许对上色结果进行迭代和局部修改，因为我们明确地对上色样本进行建模；大量实验证明了我们的框架在可编辑性和灵活性方面优于现有的自动上色算法。

    Apr, 2024

  • 实例感知图像上色

    本论文提出了一种基于物体实例的彩色化方法，利用深度神经网络提取物体级别的特征，并采用融合模块组合全图像级别和物体级别的特征来预测最终颜色，大规模实验结果表明该方法优于现有的方法，达到了图像彩色化的最新性能。

    May, 2020

  • 音视频自监督引导的深度视频修复

    通过提出的两个新损失函数：音频 - 视觉关注损失和音频 - 视觉伪类一致性损失，我们向视频修复网络传递音频 - 视觉对应关系的先验知识，进而提高视频修复的性能。实验证明，我们的方法可以更好地恢复更广泛的视频场景，并且在场景中的声音对象局部遮挡时特别有效。

    Oct, 2023

  • 彩色图像上色

    本文提出了一种基于分类任务的自动化方法，使用卷积神经网络在测试时前向传递来处理图像的着色问题，并且提高了其结果的颜色多样性，相比之前的方法机器生成的着色更加逼真，并且证明了这种自动着色可以作为一项有效的预训练任务，提供了在特征学习领域上最好的性能。

    Mar, 2016

  • 像素化的语义着色

    使用卷积神经网络、自回归模型以及像素化对象语义来引导图像上色，结果在 PASCAL VOC2012 和 COCO-stuff 上表现更好。

    Jan, 2019

  • 基于 3D 条件生成对抗网络的自动视频上色

    本文提出一种利用生成对抗网络进行视频自动上色的方法，采用三维卷积层和反卷积层进行操作并结合亮度信息，在黑白电影数据集上获得成功，使用新提出的指标对上色结果的一致性进行数值验证。

    May, 2019