CVPRDec, 2018

SUSiNet: 看见、理解和总结

TL;DR该研究提出了一种多任务时空网络 ——SUSiNet,可以共同解决显著性估计、动作识别和视频摘要的时空问题。该方法使用一个联合端到端训练的单个网络,使用与探索任务相关的多个数据集。该网络使用统一的体系结构,包括全局和任务特定层,并通过使用相同的视频输入产生多种输出类型。此外,该网络可以通过与人类注意力相关的注意力模块进行深度监督。研究结果表明,该多任务网络的性能与单个任务方法一样好(在某些情况下更好),而且所需的计算预算比每个任务单独使用的网络要少。