NaturalInversion: 无数据图像合成,改善真实世界一致性
本文介绍了 DeepInversion 方法用于从神经网络中的图像分布合成图像,使用 Adaptive DeepInversion 提高了生成图像的多样性,并应用于三个数据无关任务中,实现了数据无关的网络剪枝、知识迁移和不断学习。
Dec, 2019
介绍了一种基于图像反演的方法 --IMAge-Guided model INvErsion(IMAGINE),通过匹配经过训练的分类器中的多层特征表示和外部鉴别器的对抗训练,来从单一训练样本生成高质量和多样化的图像,实现了在维持语义特性约束的同时生成逼真图像,并且可以让用户直观地控制生成过程。经过大量实验证明,在对象、场景和纹理这三个不同的图像域中,IMAGINE 都比现有的基于 GAN 或基于反演的方法表现更好。
Apr, 2021
本文介绍了一种名为 “Diffusion Inversion” 的方法,该方法使用预先训练的生成模型 Stable Diffusion,通过将图像倒换到其潜在空间中来捕获原始数据分布并确保数据覆盖,即可生成多样高质量的训练图片,此方法通过三个关键部件成功替换了原始数据集,从而提高了样本复杂度并缩短了采样时间,不仅优于泛化提示导向方法和 KNN 检索基线,还可与常见数据增强技术兼容,提高少样本学习的可靠性。
May, 2023
由于 GenAI 系统滥用的潜力很高,检测合成图像的任务最近备受研究界的关注。本文提出一种利用反转开源预训练的稳定扩散模型获取的特征的新型合成图像检测器。我们展示这些反转特征使得我们的检测器能够很好地泛化到高视觉保真度的未知生成器上(例如,DALL-E 3),即使该检测器仅在通过稳定扩散生成的低保真度伪图像上训练。这个检测器在多个训练和评估设置上取得了新的最先进水平。此外,我们引入了一种新的具有挑战性的评估协议,使用反向图像搜索来减轻检测器评估中的风格和主题偏见。我们展示所得的评估分数与检测器在野外的性能一致,并将这些数据集作为未来研究的公共基准发布。
Jun, 2024
本文提出了基于 MixMix 的两个简单而有效的技术来解决深度学习研究中面临的用户数据机密保护和模型压缩的问题,同时证明了理论和实验的有效性,比现有的无数据压缩方法在量化、知识蒸馏和剪枝等主流压缩任务上取得了更好的表现。
Nov, 2020
提出了一种高保真的三维对抗生成网络,可以在保留输入图像的特定细节的同时合成逼真的新视图。该方法通过伪多视图估计和能见度分析建立,有效解决了三维反演中的几何纹理平衡问题,并成功实现了单张图像的高保真三维重建和新视图合成。并且本方法亦适用于图像属性编辑和 3D 纹理修改,因此有望被广泛应用于人工智能生成的三维内容领域。
Nov, 2022
通过预训练的流模型,利用理论上合理的加权方案,提出一种无需微调的图像逆向方法,显著减少了手动调整的工作量,并在高维数据集上进行了广泛测试,证明其在图像逆向中明显优于扩散模型的线性逆向方法。
Sep, 2023
通过合成图像数据生成实现的迁移学习模型训练为主题的研究中,我们提出了一种新的两阶段框架,称为桥接传递,通过使用合成图像进行模型微调从而提高其迁移能力,随后使用真实数据进行快速适应。同时,我们提出了数据集风格反转策略来提高合成图像与真实图像之间的风格对齐。通过在 10 个不同数据集和 5 个不同模型上的评估,我们展示了一致的改进效果,在分类任务上的准确率提高高达 30%。有趣的是,我们注意到改进还未饱和,这表明随着合成数据量的增加,还可能进一步提高收益。
Mar, 2024
通过在大型语言模型和 CLIP 的辅助下,使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题,并利用域适应技术和辅助批归一化来减轻领域偏移,以更好地提升模型识别性能。
Dec, 2023
当前针对人头的 3D GAN 反演方法通常只使用一个正面图像来重建整个 3D 头部模型,从而忽略了多视角数据或动态视频时的有意义信息。本研究基于现有先进的 3D GAN 反演技术,允许一致且同时地反演同一主体的多个视角。我们采用多潜变量扩展来处理动态人脸视频中的不一致性,从而从序列中重新合成一致的 3D 表示。由于我们的方法使用了有关目标主体的额外信息,我们观察到在几何精度和图像质量方面显著提高,尤其是在宽视角下的渲染。此外,我们展示了反演 3D 渲染的可编辑性,这使它们与基于 NeRF 的场景重建有所区别。
Dec, 2023