人工智能生成的图像为文本 - 图像检索引入了不可见的相关偏差
人工智能生成内容的进化朝着更高质量的方向发展，与人工智能生成内容的不断交互给数据驱动的人工智能社区带来了新的挑战：尽管 AI 生成的内容在广泛的 AI 模型中扮演着关键角色，但它们引入的潜在风险尚未得到充分的审查。本研究突出了由 AI 合成图像引起的大型视觉语言模型中的严重幻觉现象，结果发现合成图像引起的物体幻觉特点是数量更多且位置分布更均匀，即使这些合成图像与自然图像相比没有呈现非现实或额外相关的视觉特征。此外，我们对 Q-former 和线性投影仪的研究发现，视觉投影后合成图像可能呈现令牌偏差，从而放大幻觉偏差。
Mar, 2024
随着生成模型的能力增长，人工内容检测成为一项越来越重要且困难的任务。本文关注 AI 生成图像（AIGI）检测器的鲁棒性，通过分析基于冻结 CLIP 嵌入的现有最先进方法并展示如何解释它们，我们揭示了各种 AI 生成器生成的图像与真实图像的差异，并提出了两种改进鲁棒性的方法：基于去除嵌入向量的有害成分和基于选择图像编码模型中表现最佳的注意力头。我们的方法在交叉模型转换中将平均超出分布（OOD）分类得分提高了高达 6%。我们还提出了一个用于 AIGI 检测的新数据集，并在评估中使用了该数据集；我们相信这个数据集将有助于推动进一步的研究。数据集和代码已作为补充提供。
Jun, 2024
通过研究深度生成模型对未来计算机视觉模型中潜在社会偏见的影响，本文探讨了如果使用生成的图像作为训练数据，是否会导致偏见放大，从而造成有害内容的传播。然而，与预期相反的是，我们的研究结果显示，在特定任务中出现偏见缓解的情况，这可能与图像生成中的瑕疵（如模糊的脸部）或原始数据集中的既有偏见等因素有关。
Apr, 2024
通过大量人工生成的内容进行训练，AI（人工智能）图像合成能够生成与其训练数据在视觉外观上相匹配的语义连贯的图像。我们展示了这些生成型 AI 模型在重新训练时即使只是重新训练少量自己生成的内容，也会产生高度畸变的图像。同时我们还展示了这种畸变不仅限于用于重新训练的文本提示，一旦受到毒害，这些模型在仅仅通过真实图像重新训练后依然难以完全恢复。
Nov, 2023
人工智能生成内容（AIGC）在近年来迅速增长，其中基于人工智能图像生成的技术因其高效且富有想象力的图像创作能力而受到广泛关注。然而，由于其独特的失真问题，人工智能生成的图片（AIGIs）可能无法满足人们的喜好，因此有必要了解和评估人们对 AIGIs 的偏好。为此，本文首先建立了一个新颖的 AIGIs 图像质量评估（IQA）数据库，称为 AIGCIQA2023+，该数据库提供了人类视觉偏好评分以及从质量、真实性和对应性等三个角度的详细偏好解释。然后，基于构建的 AIGCIQA2023 + 数据库，本文提出了一种名为 MINT-IQA 的模型，该模型可从多个角度对 AIGIs 的人类偏好进行评估和解释。具体而言，MINT-IQA 模型首先从多个角度学习和评估人们对 AI 生成图像的偏好，然后通过视觉语言指令调整策略，MINT-IQA 能够对 AIGIs 的人类视觉偏好进行强大的理解和解释，这可用于反馈以进一步提高评估能力。广泛的实验结果表明，所提出的 MINT-IQA 模型在理解和评估人类对 AIGIs 的视觉偏好方面达到了最先进的性能水平，并且与最先进的 IQA 模型相比在传统 IQA 任务上也取得了竞争性的成果。AIGCIQA2023 + 数据库和 MINT-IQA 模型将会发布以促进未来的研究。
May, 2024
最近几年，大型语言模型和扩散模型等生成人工智能模型在内容生产方面产生了革命性的影响，其生成的内容已嵌入到日常生活和工作的各个方面，涵盖了文本、图像、视频和音频。尽管人工智能生成的内容的真实性越来越高，接近人类创作水平，但这些技术也导致了伪造的人工智能生成内容的出现，给真伪信息的鉴别带来了新的挑战。本文提出了一个新的分类方法，更全面地介绍了目前伪造的人工智能生成内容的方法。接下来，我们探讨了伪造的人工智能生成内容的模态和生成技术，归类为人工智能生成的虚假信息和误导信息。在多个角度上，我们介绍了伪造的人工智能生成内容的检测方法，包括欺骗性伪造的检测、深度伪像的检测和错觉性伪造的检测。最后，我们讨论了未来研究的重要挑战和有希望的研究领域。
Apr, 2024
本研究提出了一种使用文本到图像生成过程中的残差网络和内容网络结合的检测方法以及跨多头注意机制来检测 AI 产生的虚假图片，并取得了优于传统 CG 检测技术的结果。
Jun, 2023
我们提出了一个基于文本和图像编码器的回归（TIER）框架，用于评估从人类感知角度来看的人工智能生成图像的质量，实验证明我们的方法在大多数情况下相较于基准表现出更优异的性能。
Jan, 2024