Apr, 2023

带空间约束的文本引导眼镜操纵

PDF
TL;DR本文提出了一种基于文本和二进制 mask 的眼镜虚拟试穿方法，通过 mask encoder 实现对 mask 条件的提取，同时使用 modulation module 来同时注入文本和 mask 条件，进而控制眼镜的外观。通过 disentangled mapper 和 decoupling strategy 来实现局部的精细编辑，通过两阶段的训练方案来控制眼镜的形状和样式，实验结果表明该方法能够实现多种眼镜样式并能保留相关不相关区域。
virtual try-oneyeglasses manipulationmask encodermodulation moduledisentangled mapper
发现论文，激发创造
  • 面部图像生成和操作的开放式文本引导实现

    该研究提出了一种统一框架来生成和处理面部图像，基于预训练的 GAN 模型，使用两种新颖的策略，直接优化潜在空间的潜在编码以获取多模式输入的图像生成和操纵，并提出了一个大型数据集 Multi-Modal CelebA-HQ。

    Apr, 2021

  • 基于文本的神经运算：通过文本指令进行图像操作

    本研究提出一种基于 GAN 的多模态图片编辑方法，利用自然语言指令局部修改图片特征，实现对包含多个对象的图像进行编辑，并在三个公共数据集上展示出优异的表现，包括更高的保真度和语义相关性以及更好的图像检索性能。

    Aug, 2020

  • 复杂文本指令下的交互式图像操作

    本研究提出了一种基于复杂文本描述的图像编辑方法，在文本相关部分对输入的图像进行修改，并引入用户界面对生成的图像进行交互式重新修改，实现实时交互、灵活和准确的图像操作。

    Nov, 2022

  • TEXT2TASTE: 用大型语言模型的多功能自我中心视觉系统进行智能阅读辅助

    通过智能眼镜中嵌入的 RGB 摄像头和大型语言模型（LLM）构建的智能阅读助手，利用物体检测和光学字符识别方法处理眼镜佩戴者的视角拍摄视频，从而定位文本信息，并通过与用户的互动实现查询和摘要功能，为有视力障碍的人群提供在日常活动中获取知识的能力。

    Apr, 2024

  • 高保真文本引导的 3D 人脸生成与操作仅通过图像

    通过引入文本条件，该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法，利用全局对比学习和细粒度对齐模块两种跨模态对齐技术，实现了更逼真和语义一致的纹理生成。

    Aug, 2023

  • TextGaze: 自然语言驱动的可操控注视生成人脸

    本文提出了一种新颖的可控凝视的人脸生成任务，方法使用文本描述输入来生成具有相应凝视特征的人脸图像，并通过面部草图和 3D 人脸模型实现了凝视的文本到人脸的转换。实验证明了方法的有效性，同时作者将提供数据集和代码以供今后研究使用。

    Apr, 2024

  • 通过文本引导，在 StyleGAN 中学习与输入无关的操作方向

    提出了一种新的方法用于基于文本指导的图像风格操作，构建了一个字典来实现效果，已有方法存在很多的局限性，自己提出的方法可以同时处理多个通道间的互动关系，提高能发现未知方向的能力，同时保持了实时性和分离度。

    Feb, 2023

  • 基于文本指导的人物图像合成

    本论文提出了一种新颖的方法，根据自然语言描述操纵人物图像的视觉外观和姿态，并进行了广泛的实验以证明该方法的有效性。

    Apr, 2019

  • 基于文本指导的三维人脸合成 -- 从生成到编辑

    通过文本引导的三维人脸合成，从生成到编辑的统一框架，通过解耦生成几何和纹理来提高几何细节的生成效果，并利用生成几何作为纹理生成的条件，进一步提升几何与纹理的一致性结果；通过预训练扩散模型来更新面部几何或纹理以实现顺序编辑，并引入 UV 域一致性保持正则化以防止对不相关面部属性的无意更改，并提出自导向一致性权重策略以提高编辑效果与保持一致性；通过全面实验展示了该方法在人脸合成方面的优越性。

    Dec, 2023

  • 文本和图像帮助下的 3D 头像创造与操作

    该论文介绍了一种基于文本或图像的提示（如 “年轻的脸” 或 “惊讶的脸”）来操纵三维生成模型中形态和纹理的方法，利用了对比语言图像预训练模型（CLIP）和预训练的生成人脸的三维 GAN 模型创建了一个完全可微的渲染管道来操作网格。

    Feb, 2022