Nov, 2023

学习解耦定制化行动文本到图像生成器

PDF
TL;DR本研究在文本转图像生成（T2I）中关注一项新的任务，即动作定制，提出了基于反演的 Action-Disentangled Identifier（ADI）方法来学习动作特定的识别器，克服了现有方法中低层特征偏好和高层特征纠缠的问题，实现了优于现有基准的动作定制 T2I 生成。
text-to-image generationaction customizationlimited datarepresentation learningadi
发现论文，激发创造
  • 文本与图像个性化解耦的注意力校准

    我们提出了一种关注力校准机制，名为 DisenDiff，通过学习可学习的修饰符来捕捉单个图像中的多个概念，并生成具有学习概念的新颖定制图像。我们展示了该方法在定性和定量评估上表现优于当前的最佳方法。此外，我们的技术还与 LoRA 和修复管道兼容，实现更多交互体验。

    Mar, 2024

  • ID-Aligner: 用奖励反馈学习增强保持身份的图文生成

    通过引入通用反馈学习框架，本研究提出了 ID-Aligner 方法用于改进 ID-T2I 性能，解决参考肖像的身份特征保留、生成图像的美学吸引力缺失以及与 LoRA 和 Adapter 方法的兼容性等关键问题。大量的实验证明了这一方法的有效性。

    Apr, 2024

  • Inv-Adapter：基于图像反转和轻量级适配器的 ID 个性化生成

    利用预训练的文本图像模型通过 DDIM 图像反转提取 ID 图像的传播域表示，不需要额外的图像编码器，然后通过精心设计的轻量级注意力适配器将提取的 ID 提示特征和文本图像模型的中间特征有效地嵌入到基础文本图像模型中，从而为 ID 定制生成和模型规模上提出的 Inv-Adapter 在 ID 忠实度、生成忠诚度、速度和训练参数等方面进行了广泛的实验评估表明其具有很高的竞争力。

    Jun, 2024

  • T2I-Adapter: 学习适配器以挖掘更多可控能力的文本到图像扩散模型

    该论文提出了使用轻量级的 T2I 适配器来对图像生成过程进行更加精准的控制，实现在不同条件下的色彩和结构控制，并具有可组合性和广泛的应用前景。

    Feb, 2023

  • DVANet：多视角行为识别中视角和动作特征的解耦合

    提出一种新颖的多视图动作识别方法，通过可学习的变换器解码查询和两个监督对比损失将学习到的动作特征与视图信息分离，从而显著提高了多视图动作识别的性能。

    Dec, 2023

  • 增强即时可辨性的时间动作定位

    基于 TriDet 模型的时间动作检测（TAD）在多个 TAD 数据集上表现出鲁棒性和最先进的性能，包括分层（多标签）TAD 数据集。

    Sep, 2023

  • 无限 ID：通过 ID 语义解耦范式实现身份保留的个性化

    通过引入无限 - ID，将身份信息与语义解耦合的范式，提出一种在图像生成中保持身份的个性化方法。此方法通过增强车间训练，结合图像交叉注意模块和 AdaIN-mean 操作的特征交互机制，既提高了身份的保真度和语义一致性，又使得对生成图像风格的控制变得方便。对原始照片生成和风格图像生成的大量实验结果证明了该方法的优越性能。

    Mar, 2024

  • 目标图像数据增强提高基本技能字幕鲁棒性

    通过填补世界相关性结构的缺失，利用文本到图像生成模型改进人类模型在性别识别等方面的能力，显示了一种目标图像编辑数据增强方法在性别、颜色和计数能力方面提高图像字幕度量的性能，并分析了图像字幕模型在视觉编码和文本解码方面的不同行为表现。

    Sep, 2023

  • 结构无关视频编辑中的主角多样化

    本文提出了一种使用传统的图像层面个性化方法解决现有视频编辑方法中的偏见问题，通过运动个性化从单一源视频中分离运动并相应地修改主角，并引入一种新颖的伪光流来调节运动词以适应运动相关区域，最终通过额外的伪词将运动与源视频的外观分离，从而实现了更多样化和广泛的视频编辑能力。

    Dec, 2023

  • IDAdapter: 学习混合特征以实现无需调参的文本到图像模型个性化

    IDAdapter 是一种无需微调的方法，通过在生成过程中结合文本和视觉注入以及面部身份损失，从单个人脸图像中增强个性化图像生成的多样性和身份保留。通过将特定身份的多个参考图像的混合特征融入训练阶段，丰富相关身份的内容细节，指导模型生成具有比以往作品更多样的风格、表情和角度的图像。广泛的评估显示了我们方法的有效性，在生成的图像中实现了多样性和身份保真度。

    Mar, 2024