Mar, 2024

ObjectCompose：评估基于视觉的模型对物体与背景组合变化的弹性

PDF
TL;DR通过利用视觉模型的大规模多模态训练和其广泛适应能力，我们评估当前视觉模型对不同物体与背景环境变化的鲁棒性，并利用生成模型来产生多样化的物体与背景变化，从而量化背景环境对深度神经网络的鲁棒性和泛化能力的影响。
发现论文，激发创造
  • 超越生成：利用文本至图像模型进行对象检测和分割

    通过使用文本到图像合成框架（如 DALL-E、稳定扩散等），我们提出了一种新的范式，以自动产生具有准确标签的训练数据。该方法将训练数据生成分解为前景物体生成和上下文一致的背景生成部分，并演示了在五个物体检测和分割数据集上使用我们方法生成的合成数据用于训练可以产生与使用真实数据训练的模型性能相媲美甚至更好的目标检测器。

    Sep, 2023

  • ObjectComposer: 一致生成多个对象而无需进行微调

    现有的文本到图像生成模型在不同语境中生成相同外观的对象方面存在困难，本论文介绍了一种名为 ObjectComposer 的方法，通过不修改底层模型的权重，训练了一种无需 fine-tuning 的方法，可一次生成多个特定对象的组合。

    Oct, 2023

  • 利用大型视觉语言模型改善组合文本图像生成

    利用大型视觉语言模型来评估生成图像与输入文本之间的对齐，在此基础上，通过细调扩散模型来提升其对齐能力。实验证明，该方法显著改善了构图图像生成中的文本 - 图像对齐，特别在物体数量、属性绑定、空间关系和审美质量方面。

    Oct, 2023

  • 通过背景增强对自监督学习的鲁棒性进行表征和改进

    通过引入背景增强技术，加强自监督学习中对物体的语义关注， 系统调研发现其在多个自监督学习任务中均有大幅提升效果，并成为有监督学习的有力竞争者，并在无监督显著性检测方面取得进展。

    Mar, 2021

  • 思考真实世界物体分类

    对深层模型在 ObjectNet 数据集上的表现及其在各种数据变化下的鲁棒性进行了研究，并发现将深层模型应用于对象而不是整个场景会显著改善性能，并且将对象区域限制在较小的范围内可提高准确性和鲁棒性。

    Mar, 2021

  • 自适应情境感知：如何推广应用于新的背景和具有模糊性的物体

    本文探讨了视觉模型如何自适应地利用上下文进行分布外泛化，研究发现，具有因子化的表征和适当特征加权的模型可以更好地处理背景不变性和物体消歧，提出了新的数据扩增方法，提高了模型的泛化能力。

    Jun, 2023

  • 对扩散合成目标的神经网络稳健性进行基准测试

    我们建立了视觉感知稳健性的严格基准，通过合成图像进行评估，引入了生成模型作为数据源来合成具有多样化背景、纹理和材料的困难图像，该基准称为 ImageNet-D，实验结果表明 ImageNet-D 对于多种视觉模型都导致了显著的准确率下降。

    Mar, 2024

  • 组块化优先于不变性的组合鲁棒性

    在视觉空间具有组合性的事实的基础上，通过提出模块化体系结构，使得在给定一些元语变之后，模型可以推广到这些元语变的组合中，以实现组合稳健性。

    Jun, 2023

  • 可组合扩散模型下的组合视觉生成

    通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

    Jun, 2022

  • 针对下游目标检测的对比视角设计策略以提高对领域转移的稳健性

    为了增强对外域物体的检测鲁棒性，我们对对比学习进行了实证研究，并提出了加强鲁棒性的策略，包括改变裁剪百分比、添加 IoU 约束、整合显著性的对象先验，并探索了缩短路径的数据增强方法。在多个领域的基础上进行基准测试，整合多种策略，实验结果表明了如何通过选择视图提高对比学习的鲁棒性。

    Dec, 2022