Dec, 2023

DeepArt: AI-Generated 内容的提升忠实度研究基准

PDF
TL;DR该研究探索了领先的多模态大型语言模型 GPT-4 的图像合成能力，并建立了一个基准来评估 GPT-4 生成的图像中纹理特征的保真度，包括手工绘制的图片和其 AI 生成的对应物。该研究的贡献有三个方面：首先，我们深入分析了基于 GPT-4 的图像合成特征的保真度，这是对这一先进模型的首个研究；其次，定量和定性实验充分揭示了 GPT-4 模型在图像合成方面的局限性；第三，我们编制了一个独特的手工绘画和相应的 GPT-4 生成图像基准，引入了一个新的任务来推进 AI 生成内容的保真度研究。数据集将在被接受后提供：https://github.com/rickwang28574/DeepArt。我们希望这项研究能够推动知识、学术和创新的发展，激发改变我们对艺术世界的发现和理解方式，并促进 AIGC 的发展，同时保持对艺术的尊重。
发现论文，激发创造
  • ArtGPT-4: 利用适配器增强 MiniGPT-4 实现艺术视觉 - 语言理解

    本文介绍了 MiniGPT-4 和 ArtGPT-4 模型，这些模型通过新颖的数据评估方法来解决获得符合其规模的数据集的挑战，并可生成带有艺术风格的图片和 aesthetically pleasing HTML/CSS web pages，并且 ArtGPT-4 模型比当前最先进的模型在评估方法中得分更高。

    May, 2023

  • 稳定的 LLaVA：通过合成的图像对话数据增强视觉指导调整

    我们提出了一种新的数据收集方法，通过异步合成图像和对话以进行视觉指导调优，结合 ChatGPT 和文本到图像生成模型的能力，显著增强了多种模型功能。

    Aug, 2023

  • 使用视觉评估 GPT-4 的美学评价能力：来自群体和个体评估的见解

    最近，研究发现大型语言模型在各种智力任务中表现出色，然而，很少有研究探讨其与人类行为对齐，特别是涉及审美评价的行为。本研究调查了可以处理图像输入的先进语言模型 GPT-4 with Vision 在图像的审美评价任务上的表现。我们采用了两个任务，一个是预测一个群体的平均评价值，另一个是预测个体的评价值。通过探索提示和分析预测行为，我们调查了 GPT-4 with Vision 的表现。实验结果显示，GPT-4 with Vision 在预测审美评价方面表现出优秀的性能，并展现出对美和丑之间不同响应的特性。最后，我们讨论了基于人类对美感知的科学知识以及融合传统深度学习模型和大型语言模型的代理技术来开发用于审美评价的 AI 系统。

    Mar, 2024

  • 通过基于 ASCII-Art 的跨模态任务，测试 ChatGPT 的理解深度：GPT3.5 在识别和生成 ASCII-Art 方面的能力并非完全缺乏

    对 ChatGPT 及其基础模型 GPT3.5 的可视任务进行分析，包括图像识别和图像生成等方面。

    Jul, 2023

  • DeepfakeArt Challenge: 用于生成式 AI 艺术伪造和数据中毒检测的基准数据集

    本文介绍了 DeepfakeArt Challenge，这是一个大规模的挑战基准数据集，旨在帮助构建生成 AI 艺术伪造和数据污染检测的机器学习算法。该数据集包括超过 32,000 个记录，涵盖了多种生成伪造和数据污染技术。

    Jun, 2023

  • 让真实图像作为判断者，发现由生成模型合成的假图像

    通过学习真实图像的自然特征，利用监督对比学习的方法，我们的研究提出了一种探测器，针对虚假图像中的伪像纹理的变化进行检测，并在广泛的实验证明了其在未知伪造技术的泛化和对不同变换的鲁棒性方面的显著优势。

    Mar, 2024

  • GPTScore：任意评估

    本文提出了一种新的评估框架 GPTScore，利用生成预训练模型的崭新能力对生成的文本进行评分，实验结果表明该方法能够高效地实现对文本的定制化、多方面评估，不需要注解样本。

    Feb, 2023

  • ArtiFact：一个大规模人工和真实混合图像数据集，用于通用和健壮的合成图像检测

    本篇论文旨在通过 ArtiFact 大型数据集以及多分类分类方案和滤波步幅缩减策略，检测来自已知和未知生成器的合成图像，以增强合成图像探测器的泛化和鲁棒性。结果表明，该方案在 IEEE VIP Cup ICIP 2022 挑战赛上取得了明显的优势。

    Feb, 2023

  • DreamBench++：个性化图像生成的人工智能基准测试

    DreamBench++ 是一个自动化的、与人类对齐的多模态 GPT 模型，通过系统地设计提示，从而在个性化图片生成中达到更高的人类对齐评估，帮助推动社区的创新发现。

    Jun, 2024

  • 人工通用智能的火花：GPT-4 的早期实验

    本文报道了 OpenAI 发展的最新模型 GPT-4，证明其不仅能够掌握语言，而且在数学、编码、视觉、医学、法律和心理等多个领域中都能够解决新颖且困难的任务，表现接近于甚至超过人类的水平，代表了一种新的群体智能的语言模型，并可能被视为人工通用智能（AGI）系统的早期、但尚不完整的版本。同时，本文还探讨了 GPT-4 的局限性，指出其可能需要超越下一个预测的新范式，为实现更深入和全面的 AGI 版本的发展面临的挑战，以及该技术飞跃的社会影响和未来研究方向的反思。

    Mar, 2023