Nov, 2023

1DFormer：基于 Transformer 学习 1D 地标表示，用于面部地标追踪

PDF
TL;DR通过在时间和空间维度上对标记进行令牌通讯以及采用混合机制、位置嵌入机制和多头注意机制，在定位面部标记方面，1DFormer 成功地模拟了长距离的序列模式和固有的面部结构，并通过一维卷积层在空间维度上进行令牌通讯，实现了对面部标记的学习和追踪。
facial landmarks1d landmark representationstransformer architecturesequential and structural modelingfacial landmark tracking
发现论文，激发创造
  • 无限 3D 关键点：提升连续 2D 面部关键点检测

    这篇论文主要探讨了人脸标记探测器的实际应用中存在的三个重要问题，并展示了如何通过特定的架构改进来提高其准确性和时间稳定性。

    May, 2024

  • 面部特征点检测的深度结构预测

    本文提出了一种深度结构化面部标记检测方法，该方法使用深度卷积网络和条件随机场相结合，能够在面部标记检测上取得比现有技术更卓越的性能，特别是在包含大姿态和遮挡等具有挑战性的数据集上具备更好的泛化性能。

    Oct, 2020

  • 深度循环回归用于面部关键点检测

    提出一种新颖的端到端深度架构用于面部标记检测，它基于卷积和反卷积网络，以及经过精心设计的循环网络结构，并在多个基准数据集上得到了比当前最先进方法更卓越的表现。

    Oct, 2015

  • 层次循环转换器网络实现无限制时尚地标检测

    本研究针对传统依赖昂贵的边框注释来减少不确定性的困境，提出了 Deep LAndmark Network (DLAN)，通过联合估计边框和关键点，有效解决了服装标记点检测的问题。在大规模的无限制服装里程碑数据库（ULD）上测试表明，DLAN 对不同类型的服装和模式的泛化表现极佳，非常适用于真实世界的时尚分析。

    Aug, 2017

  • 热力面部标记追踪

    通过使用来自红外图像的热图像，利用人脸的重要区域进行面部标志跟踪，忽略了光照和阴影，但显示了主体的温度，通过特定位置上的热量波动反映生理变化，如血液流动和出汗，用于远程判断焦虑和兴奋。本研究进一步尝试了各种模型，包括残差连接、通道和特征关注以及网络组件的并行运作，最佳模型整合了卷积和残差层以及通道自注意层，只需要不到 100,000 个参数。

    Nov, 2023

  • LipFormer: 基于视觉地标变换器学习从未见过说话者的唇读

    该论文介绍了一种新的语音识别方法：LipFormer，它使用了视觉和标记反映的多模态特征，使得它能够对不同的嘴唇颜色和形状产生的可见变化具有鲁棒性，并且在未知的发言人上表现出出色的泛化性能。

    Feb, 2023

  • D-Former: 一种用于 3D 医学图像分割的 U 形扩张 Transformer

    本文提出了一种称为 Dilated Transformer 的方法，该方法在全球和局部范围内交替捕捉成对的补丁关系进行自我关注。我们基于 Dilated Transformer 的设计构建了一种名为 D-Former 的 U 型编码器 - 解码器分层结构，用于 3D 医学图像分割。实验表明，我们的 D-Former 模型在低计算成本下，从头开始训练，优于各种有竞争力的基于 CNN 或 Transformer 的分割模型。

    Jan, 2022

  • 稠密特征点的 3D 面部重建

    该研究论文提出了一种通过使用合成数据达到高密度标记点的方法来进行面部重建的方法，并成功将其用于嘴巴和眼睛等部位进行表情捕捉，从而取得了在单目 3D 面部重建方面的最新成果。

    Apr, 2022

  • 人脸关键点检测的基准焦点增强

    通过使用深度学习方法和图像增强技术，本文提出了一种有效的面部特征检测方法，采用 Siamese 架构和 Transformer + CNN 网络作为骨干结构，通过高级特征表示的集合学习来改善面部特征检测的性能。经过大量实验证明，该方法在各种基准数据集上优于多种最新方法。

    Feb, 2024

  • 无监督地发现物体地标作为结构表示

    本文提出一种基于自动编码器的方法，无需监督信号，从而学习图像模型中的对象结构，发现了与手动注释地标更为相关的语义有意义的地标，这些地标是识别视觉属性的补充特征，并且自然地创建了一个无监督、可感知的界面，用于操纵对象形状和解码具有可控结构的图像。

    Apr, 2018