特征空间转移用于数据增强
本文提出了一种基于 Facial Attribute Transformer(FAT)和其空间变体 Spatial FAT 的高质量化妆转移方法,利用 Transformer 模型语义对源面部和参考面部之间的对应关系和相互作用进行建模,进而准确地估计和转移面部属性,同时通过集成 Thin Plate Splines(TPS),Spatial FAT 还可以转移几何属性,而且在颜色保真度和空间变换方面表现优异,经过严格的定性和定量实验验证了所提出方法的有效性和优越性。
Apr, 2021
通过提取和总结有用的预测信息(由 “因子张量” 表示)并利用张量分解模型将其输入到时间卷积神经网络中,本研究提出了一种因子增强的张量对张量神经网络(FATTNN)。该方法能够处理复杂数据结构之间的非线性关系,并在预测准确性和计算成本方面优于传统的统计模型和常规的深度学习方法。通过利用张量分解模型,提出的方法在提高预测准确性的同时,大幅度减少了数据维度从而加快了计算速度。通过模拟研究和对三个公共数据集的实际应用,验证了提出方法的实证性能,数值结果表明,与基准方法相比,提出的算法在预测准确性方面取得了显著的增加,并且计算时间显著减少。
May, 2024
提出一种新颖的多层次统计转移模型,通过注意力机制和属性统计学习最优的外貌表示,将其传输到姿势引导生成器进行外貌和姿势的重构,从而实现自主驱动的人物图像生成,实验证明该方法在 DeepFashion 数据集上表现出色。
Nov, 2020
通过学习一种通用的嵌入空间,我们提出了一种新型架构,能够直接处理具有不同特征集合的数据,从而实现对异构特征空间数据的共享潜在特征空间的学习。该模型的优势在于能够在不一致的特征空间中无缝操作,特别适用于数据稀缺的情况,例如急性髓性白血病流式细胞术中的癌细胞检测。
Nov, 2023
本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题,并证明该方法比已有的两种方法获得更好的精度和平均翻转比。
Feb, 2022
通过使用深度学习方法和图像增强技术,本文提出了一种有效的面部特征检测方法,采用 Siamese 架构和 Transformer + CNN 网络作为骨干结构,通过高级特征表示的集合学习来改善面部特征检测的性能。经过大量实验证明,该方法在各种基准数据集上优于多种最新方法。
Feb, 2024
DiffFAE 是一个基于扩散的高效一阶段框架,旨在实现高保真的面部外貌编辑。通过使用基于 3D Morphable Model(3DMM)的渲染纹理,采用空间敏感的物理定制(SPC)来确保高保真度和泛化能力;通过引入区域响应的语义组合(RSC)模块来保留源属性;通过一致性正则化来增强编辑可控性。实验证明,DiffFAE 在面部外貌编辑方面具有优越性能,达到了领先水平。
Mar, 2024
本文提出了一种快速形状网络(FS-Net),用于从单眼 RGB-D 图像中实现类别级 6D 姿态和大小的估计,该网络具有高效的类别级特征提取方法和新颖的解耦式旋转机制,该方法在两个基准数据集上实验表明取得了最佳性能。
Mar, 2021
人脸再现的任务是将视频中的头部运动和面部表情转移至源图像的外观,可以是不同的人(跨再现)。我们提出了一种基于 Transformer 编码器的方法来计算源图像的一组潜在表示。然后,我们使用基于 Transformer 的解码器预测查询像素的输出颜色,该解码器受到来自驾驶帧的关键点和面部表情向量的条件影响。我们以自监督的方式学习源人物的潜在表示,这种表示分解了外观、头部角度和面部表情,非常适合于跨再现。与大多数相关工作相比,我们的方法自然地扩展到多个源图像,并且可以适应个人特定的面部动态。我们还提出了必要的数据增强和正则化方案,以防止过拟合并支持学习表示的泛化能力。我们在一个随机用户研究中评估了我们的方法,结果表明在运动传输质量和时间一致性方面与最先进方法相比具有卓越性能。
Apr, 2024