电影人物间关系及互动学习
本文研究关系人物之间的情感极性特征,并提出结构化预测和聚类方法来解决该问题,在语言和语义特征的基础上,通过社交网络结构来提高模型性能。作者在维基百科电影概要数据集上验证了模型的优越性。
Dec, 2015
研究角色是计算上表示和解释叙述性文本的关键,本文通过提出一个半监督框架来从全面和部分标记的数据中学习动态发展的角色关系,使用 Markovian 模型来积累历史信仰,结合语言和语义功能特征来研究叙述的文本内容,实验证明此框架优于基准模型。
Nov, 2015
本文提出了一种 Dual-Glance 模型,通过对人物关注视线的两个不同方面分别提取特征,结合注意力机制分析上下文线索,从而识别图片中的社交关系,并通过 Adaptive Focal Loss 方法处理模糊注释以提高识别效果,实验表明此方法在社交关系识别中取得了最新的最优效果。
Dec, 2018
本文介绍了一个名为 MovieGraphs 的数据集,用于收集电影片段中的社交情境,并探索了使用这个数据集进行情感识别、交互理解和原因理解的方法和相关研究。
Dec, 2017
本文提出一个基于知识图谱的图推理模型,通过消息传播和图注意力机制,将外部信息有效地整合到深度神经网络中,提高社交关系识别准确性。试验结果表明,该模型在公共基准测试中优于目前领先的竞争对手。
Jul, 2018
本文提出了一种有效学习任意子对象之间的高阶相互作用的方法,用以改善细粒度视频理解的准确性,包括动作识别和视频字幕生成等领域,在两个大规模数据集 Kinetics 和 ActivityNet Captions 上取得了最先进的性能。
Nov, 2017
我们提出了一种基于人物感知关系的视频故事问题回答模型,它通过多示例共现匹配实现弱监督人脸命名,并利用 Transformer 结构支持高水平推理。我们在 TVQA 数据集上进行了训练和测试,并通过广泛的消融研究验证了我们提出的方法。
May, 2020
本研究使用深度模型从面部图像中学习捕捉性别、表情、头部姿势、年龄等属性,采用面部间的配对推理进行社交关系预测,实验证明我们的方法有效用于图像和视频中细粒度社交关系的学习。
Sep, 2015
本研究提出了一种新的模型,使用语义词嵌入的语言先验知识进行训练,以预测图像中的多个视觉关系,同时将物体和谓词分别训练,并在图像中标定对象的位置,从而提高基于内容的图像检索的准确性。
Jul, 2016