Feb, 2024

生成式视觉压缩综述

PDF
TL;DR人工智能生成内容（AIGC）已经引领了一场新的技术革命，推动了数字内容的获取并推动传统编解码器在性能提升和多样化功能方面的进展，本文全面回顾了生成式视觉压缩的最新进展，展示了在超低码率通信，用户指定的重建 / 滤波和智能机器分析方面的巨大潜力和有前景的应用。特别是，我们回顾了基于深度生成模型的视觉数据压缩方法，并总结了如何通过生成技术实现紧凑的表示和高保真重建。此外，我们概括了相关的生成式压缩技术用于机器视觉和智能分析。最后，我们讨论了生成式视觉压缩技术面临的基本挑战，并展望了它们未来的研究方向。
artificial intelligencegenerative visual compressionultra-low bitrate communicationuser-specified reconstruction/filteringintelligent machine analysis
发现论文，激发创造
  • AI 生成内容（AIGC）：一项调查

    本文深入讨论了基于人工智能技术生成内容的 AIGC，对其定义、关键条件、可重要的现有和未来特性、庞大的预训练模型带来的优势、工业链以及 AIGC 内部辅助生成和自动生成之间的区别进行了探讨，最后探讨了 AIGC 与元宇宙的潜在整合，旨在揭示 AIGC 的现有问题并提供未来应用方向。

    Mar, 2023

  • 人工智能生成内容的综合调查（AIGC）：从 GAN 到 ChatGPT 的生成式人工智能历史

    该研究综述了生成模型的历史和基本组成部分，并从单模态和多模态交互的角度介绍了文本和图像生成任务及相关模型，讨论了人工智能生成内容领域中的开放性问题和未来挑战。

    Mar, 2023

  • 探索 AIGC 视频质量：以视觉和谐、视频文本一致性和领域分布差异为重点

    这项研究基于 Text-to-Video 人工智能生成内容 (AIGC) 的最新进展，针对 AIGC 视频的质量评估遇到的挑战进行了分类，并提出了特定模块来综合评估 AIGC 视频的视觉和内容一致性，在不同的生成模型中发现了重要的视觉质量、流畅度和风格差异。通过预测源生成模型，可以提高 AIGC 视频特性的差异性，从而提高质量评估性能。该方法在 NTIRE 2024 质量评估比赛中获得了第三名，展示了其有效性。

    Apr, 2024

  • 人工智能生成内容（AIGC）的语义通信：朝着有效内容创作迈进

    通过引入内容生成层，将人工智能生成内容 (AIGC) 与语义通讯 (SemCom) 结合起来，提供了清晰的 AIGC 与 SemCom 之间互动产生有意义和有效内容的概念模型，并提出了一种基于 AIGC 技术的语义信息编码器和解码器的新框架，以优化 AIGC 服务的语义提取和评估指标，从而适应不同类型的内容生成、所需质量和语义信息使用。通过使用深度 Q 网络 (DQN)，展示了对优化问题的可行性和收敛特性的有益见解。

    Aug, 2023

  • 一份关于 3D 内容生成的全面调查

    人工智能在生成内容领域取得了显著进展，其中 3D 内容生成作为视觉模态之一，面临巨大的知识和技术挑战。本研究回顾了 3D 内容生成技术的发展，并提出了一个新的分类法，详细介绍了三种不同类型的方法。同时，讨论了当前技术的局限性以及未来工作的挑战和方向。

    Feb, 2024

  • AIGCBench：AI 生成的图像到视频内容的综合评估

    人工智能生成内容（AIGC）领域迅速发展，本研究介绍了 AIGCBench，一个全面且可扩展的基准测试，旨在评估各种视频生成任务，主要集中在图像到视频（I2V）生成上。

    Jan, 2024

  • 多数据模态的人工智能通用计算：综述

    AI 生成内容（AIGC）方法旨在使用 AI 算法产生文本、图像、视频、3D 资产和其他媒体。本文综述了跨不同数据模态的 AIGC 方法，包括单模态和多模态，重点介绍了各种挑战、代表性研究以及最近的技术方向，并在各种模态中提供了对多个基准数据集的比较结果。此外，本文还讨论了挑战和未来研究方向。

    Aug, 2023

  • 生成式压缩

    使用生成模型进行压缩可提高失真度和视觉效果，对视频和图像压缩有效。相比传统的可变长度编码方案，生成压缩的鲁棒性更高，适应于噪声无线信道。

    Mar, 2017

  • 统一生成和压缩：多阶段变形器在超低比特率图像编码中的应用

    本文介绍了一种新的统一图像生成 - 压缩（UIGC）范式，该范式将生成和压缩过程合并在一起，通过采用矢量量化图像模型和多阶段 Transformer 来利用空间上下文信息建模先验分布，从而在实现熵估计和丢失令牌再生成方面成功使用学习到的先验，实验结果表明该 UIGC 框架在感知质量和人类感知方面优于现有编解码器，在极低比特率场景下（<=0.03 bpp）开创了生成式压缩的新方向。

    Mar, 2024

  • 虚假人工智能生成内容（FAIGC）：理论、检测方法和机会综述

    最近几年，大型语言模型和扩散模型等生成人工智能模型在内容生产方面产生了革命性的影响，其生成的内容已嵌入到日常生活和工作的各个方面，涵盖了文本、图像、视频和音频。尽管人工智能生成的内容的真实性越来越高，接近人类创作水平，但这些技术也导致了伪造的人工智能生成内容的出现，给真伪信息的鉴别带来了新的挑战。本文提出了一个新的分类方法，更全面地介绍了目前伪造的人工智能生成内容的方法。接下来，我们探讨了伪造的人工智能生成内容的模态和生成技术，归类为人工智能生成的虚假信息和误导信息。在多个角度上，我们介绍了伪造的人工智能生成内容的检测方法，包括欺骗性伪造的检测、深度伪像的检测和错觉性伪造的检测。最后，我们讨论了未来研究的重要挑战和有希望的研究领域。

    Apr, 2024