用于序列人脸对齐的循环编码 - 解码网络

ECCVAug, 2016

用于序列人脸对齐的循环编码 - 解码网络

A Recurrent Encoder-Decoder Network for Sequential Face Alignment

Xi Peng, Rogerio S. Feris, Xiaoyu Wang, Dimitris N. Metaxas

TL;DR本研究提出了一种新颖的循环编码器 - 解码器网络模型，用于实时基于视频的面部对齐。我们的模型预测带有回归损失的 2D 面部关键点映射，同时在空间和时间维度上独特地利用循环学习。在空间层面上，我们在联合输出响应映射和输入之间添加反馈循环连接，以使用单个网络模型实现迭代式的粗到精面部对齐。在时间层面上，我们首先将网络瓶颈中的特征分解为时间可变因素和时间不变因素，例如姿势和表情以及身份信息。然后将时间循环学习应用于分解的时间可变特征，在测试时间产生更好的普适性和显着更精确的结果。通过全面实验分析，我们展示了提出的模型各组件的重要性，以及在标准数据集上的优异结果。

Abstract

We propose a novel recurrent encoder-decoder network model for real-time video-based face alignment. Our proposed model predicts 2d facial point maps regularized by a regression loss, while uniquely exploiting re

recurrent encoder-decoder network real-time video-based face alignment 2d facial point maps temporal recurrent learning comprehensive experimental analysis

发现论文，激发创造

RED-Net: 一种基于循环编码器 - 解码器网络的视频人脸对齐方法

本论文提出了一种基于循环编码器 - 解码器网络模型的实时视频人脸对齐方法，该方法预测由检测和回归损失正则化的 2D 人脸关键点热力图，同时在空间和时间维度上独特地利用循环学习。在空间上，我们通过输出响应图和输入之间的反馈环连接，使单个网络模型实现迭代粗略到精细的人脸对齐，而不是依赖于传统的级联模型集成。在时间上，我们首先将网络瓶颈中的特征解耦为时变因素和时不变因素，例如姿态和表情和身份信息。然后应用于解耦的时变特征上的时态循环学习。我们展示了这种特征解耦产生更好的泛化效果，在标准数据集上优于现有技术和本方法的几种变体的全面实验分析。

Jan, 2018

深度循环回归用于面部关键点检测

提出一种新颖的端到端深度架构用于面部标记检测，它基于卷积和反卷积网络，以及经过精心设计的循环网络结构，并在多个基准数据集上得到了比当前最先进方法更卓越的表现。

Oct, 2015

人类动态的循环网络模型

提出了一种名为 ERD 模型的循环神经网络，用于识别和预测视频和动作捕捉中的人体姿势，在运动捕捉、人体姿态标记和视频姿态预测方面均表现优秀，并且代表了时空视觉领域的重要特点。

Aug, 2015

使用递归集编码进行点云处理

本文提出了一种新的置换不变网络用于 3D 点云处理，该网络由循环集编码器和卷积特征聚合器组成，对于无序点集，使用循环神经网络（RNN）对其进行编码并将功能集成到 2D 卷积神经网络（CNN）中，用于层次化特征聚合，该网络在空间特征学习方面表现出色，在多个基准测试中表现优异，与最新技术水平相比也更加高效。

Nov, 2019

视频字幕重构网络

本文提出了一种重构网络（RecNet）的架构，该网络利用正反两个方向的流动来进行视频字幕生成，其编码器 - 解码器使用正向流产生编码视频语义特征的句子描述，两种类型的重构器则用于回溯流程并重新生成与解码器生成的隐藏状态序列基于的视频特征。实验结果表明，所提出的重构器网络能够提高编码器 - 解码器模型的性能，并显著提高视频字幕准确性。

Mar, 2018

通过解耦 3D 人脸特征进行联合人脸重建和识别

本文提出了一种编码器 - 解码器网络架构，用于从单个 2D 图像中分离出形状特征，从而能够同时实现重建准确的 3D 人脸形状和学习面部识别的判别形状特征。与现有的 3D 人脸重建方法不同，我们的方法直接从单个 2D 图像回归密集的 3D 人脸形状，并根据一个含有潜在表示的组合 3D 人脸形状模型，明确地分开处理了 3D 人脸形状的身份和残差（即非身份）部分。我们制定了一个训练流程，用联合损失来衡量面部识别错误和 3D 人脸形状重建错误，为此我们开发了一种将 3D 形态可塑模型（3DMM）适配到多幅同一主体的 2D 图像上的方法。广泛的实验在 MICC、BU3DFE、LFW 和 YTF 数据库上进行。结果表明，我们的方法扩展了 3DMM 捕捉判别形状特征和面部细节的能力，因此在 3D 人脸重建准确性和面部识别准确性方面均优于现有方法。

Mar, 2018

基于循环变换的弱监督解缠合技术用于三维视图合成

这篇论文介绍了一种利用神经网络来解决从单一图像生成多角度视角的问题，并且在人脸和椅子等特定物体类别的数据上取得了良好的效果，同时展示了模型无需完全监督就可在多个应用中使用的能力。

Jan, 2016

针对视频字幕的分层边界感知神经编码器

本论文提出了一种循环视频编码方案，可以发现和利用视频的分层结构，并且改善了电影描述数据集的现有技术结果。

Nov, 2016

图像字幕的循环融合网络

本文提出了一种使用多个编码器的循环融合网络 (RFNet) 来处理图像字幕生成问题，RFNet 可以利用多个编码器的输出之间的相互作用，生成新的、紧凑而且信息丰富的表示，验证实验表明，RFNet 对于图像字幕生成问题是有效的，并且取得了最新的最好结果。

Jul, 2018

使用双向循环神经网络进行视频描述

本文提出使用编码器 - 解码器框架，结合卷积和循环神经网络生成视频和图像描述的更高级模型，通过在编码阶段引入对象和位置信息来获得更丰富的图像表示，并引入双向循环神经网络以捕捉输入帧中的正向和反向时间关系。

Apr, 2016