利用深度学习文本到图像模型生成合成卫星图像 - 技术挑战及对监测和验证的影响

Apr, 2024

利用深度学习文本到图像模型生成合成卫星图像 - 技术挑战及对监测和验证的影响

Generating Synthetic Satellite Imagery With Deep-Learning Text-to-Image Models -- Technical Challenges and Implications for Monitoring and Verification

PDF

Tuong Vy Nguyen, Alexander Glaser, Felix Biessmann

TL;DR通过使用新颖的深度学习模型，本研究探索了使用条件机制创建合成卫星图像的挑战，通过真实性和最先进的度量方法评估了结果，并研究了合成数据在遥感中缓解数据不足的潜力，讨论了合成卫星图像在监测和验证方面的意义。

Abstract

Novel deep-learning (DL) architectures have reached a level where they can generate digital media, including photorealistic images, that are difficult to distinguish from real data. These technologies have already been used to generate training data for Machine Learning (ML) models, an

deep-learning architectures digital media synthetic images ml models satellite image generation

发现论文，激发创造

使用游戏引擎和机器学习创建合成卫星图像进行桌面验证练习

利用现代游戏引擎和先进的机器学习技术生成合成图像，以支持通过新的卫星星座和极短重访时间实现的验证能力的简单监控方案的桌面推演的有用性。

Apr, 2024

利用机器学习识别人工智能生成的合成图像

利用机器学习技术来区分 AI 生成的合成图像和真实图像，通过优化深度学习模型和对比实验结果表明，深度学习模型可以更准确地识别合成图像，进一步推动数字媒体可信度及 AI 生成内容的伦理和技术探索。

Jan, 2024

生成模型合成数据是否可以用于图像识别？

本文针对最新的文本到图像生成模型产生高保真类照片的现象进行了研究，详细探讨了这些合成图像在识别任务中的可行性和应用前景，并提出了针对数据缺乏情况和大规模模型预训练的综合应用策略。

Oct, 2022

SatDM：使用扩散模型进行语义布局调节的合成逼真卫星图像

利用条件 DDPM 模型生成高质量、多样化和准确的卫星图像，以及改进噪声调度、自适应归一化和自注意机制，通过算法和人类意见研究验证其在数据增强等实际应用中的有效性。

Sep, 2023

多元化训练，不是微调：使用合成图像扩大视觉识别训练规模

通过在大型语言模型和 CLIP 的辅助下，使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题，并利用域适应技术和辅助批归一化来减轻领域偏移，以更好地提升模型识别性能。

Dec, 2023

合成图像在迁移学习中是否有用？关于数据生成、容量和利用的研究调查

通过合成图像数据生成实现的迁移学习模型训练为主题的研究中，我们提出了一种新的两阶段框架，称为桥接传递，通过使用合成图像进行模型微调从而提高其迁移能力，随后使用真实数据进行快速适应。同时，我们提出了数据集风格反转策略来提高合成图像与真实图像之间的风格对齐。通过在 10 个不同数据集和 5 个不同模型上的评估，我们展示了一致的改进效果，在分类任务上的准确率提高高达 30%。有趣的是，我们注意到改进还未饱和，这表明随着合成数据量的增加，还可能进一步提高收益。

Mar, 2024

多源卫星影像的多尺度船舶探测的组合洞察

利用深度学习从卫星图像中检测船只是海上监视的一种不可或缺的解决方案。然而，将在一个数据集上训练的深度学习模型应用于具有空间分辨率和辐射特征差异的其他数据集时，需要进行许多调整。为了解决这个问题，本文研究了基于包含不同光学图像和雷达与光学数据组合的数据集进行训练的深度学习模型。通过这种方法处理有限数量的训练图像时，深度学习模型的性能是令人满意的。它们可以根据测试的光学图像提高平均精度 5-20%。同样，使用在光学与雷达数据集上训练的深度学习模型可以应用于光学和雷达图像。我们的实验表明，在光学数据集上训练的模型可以用于雷达图像，而在雷达数据集上训练的模型在应用于光学图像时得分非常低。

Mar, 2024

家长和孩子：区分多模态深度伪造图像与自然图像

本文通过系统研究最新扩散模型生成的虚假图片的真实性，分析其图像的低层特征和用作种子的文本说明的语义作用，并提供了一个新的包含约 600k 张图像的数据集 COCOFake。

Apr, 2023

航行合成领域：利用扩散模型进行腹腔镜文本到图像生成

通过扩散生成模型，我们提出了一种直观的方法来从短文本提示生成合成的腹腔镜图像，采用最先进的文本到图像架构，在图像引导手术领域，特别是腹腔镜和机器人辅助手术方面，得到了依靠合成图像数据和虚拟手术训练方法的强力帮助。

Dec, 2023

利用大规模视觉语言模型进行合成图像检测

利用先进的视觉语言模型（VLMs）对合成图像进行识别的效果进行了研究，并通过调整最先进的图像字幕模型，利用大型 VLMs 的强大理解能力区分真实图像和扩散基模型生成的合成图像。

Apr, 2024