本研究收集了 10 万个 GIF 图像，并基于众包技术获取了 120k 自然语言描述，以促进对动态图像的理解和自然语言描述生成技术的研究，该研究提供了一个理想的基准来评估视觉内容字幕的任务。研究还提供了基于最近邻算法、统计机器翻译和递归神经网络的动态 gif 描述任务的基线结果，并证明使用该数据集微调的模型对于自动电影描述是有帮助的。

Apr, 2016

Auto-captions on GIF 是一个新的大规模预训练数据集，可用于视频理解、视频字幕生成等下游任务的通用特征表示或编码器 - 解码器结构的预训练。通过 Auto-captions on GIF 数据集，我们还对基于 Transformer 的编码器 - 解码器结构进行了分析和评估，并在 MSR-VTT 上获得了强大的泛化性能。

Jul, 2020

本文介绍了一种基于人类视觉注意力机制和关键点的 GIF 情感识别网络，并证实了利用 GIF 图像中的人类信息能够显著提升识别性能。

Apr, 2019

通过全球排名模型，我们使用用户历史创建了大规模的数据集，为用户兴趣打分实现了个性化模型，大大提高了通用高光侦测器的回归率并比单一用户不可知的基线更加精确。

Apr, 2018

本文介绍了我们参加 SocialNLP 2020 和 EmotionGIF 2020 的比赛时采用的一种基于关注机制双向 GRU 网络的分类模型以及采用深度神经网络和集成学习技术进行的分类方法。通过两个比赛，我们的模型均取得了最佳的平均召回率得分。

Dec, 2020

本文提出了 GIF2Video 方法，这是第一个应用于 GIF 图像增强的基于学习的方法，利用 CNN 网络实现了颜色去量化和时间插值等方面的帧重建与修复，实验结果表明，该方法优于现有基线方法和先进技术，可以显著改善 GIF 动画的视觉质量。

Jan, 2019

我们提出了 Pix2Gif，一种用于图像到 GIF（视频）生成的运动引导扩散模型。通过将任务表述为由文本和运动幅度提示引导的图像转换问题，我们以不同的方式解决了这个问题。为了确保模型遵循运动引导，我们提出了一种新的运动引导变形模块，以在两种提示的条件下空间转换源图像的特征。此外，我们引入了一个感知损失，确保变换后的特征图与目标图像保持相同的空间，以确保内容的一致性和连贯性。在模型训练准备阶段，我们通过从 TGIF 视频标题数据集中提取一致的图像帧来精心筛选数据，该数据集提供了关于主题的时序变化的丰富信息。在预训练之后，我们以零样本的方式将我们的模型应用于多个视频数据集。广泛的定性和定量实验证明了我们的模型的有效性 - 它不仅捕捉了文本的语义提示，还捕捉了运动引导的空间提示。我们使用一个 16xV100 GPU 节点训练所有模型。代码、数据集和模型在此 https URL 中公开。

Mar, 2024

本文描述了一种基于自监督学习的框架，可以将一个源图像中的对象根据驱动视频的运动进行动画处理，而不需要使用任何注释或有关特定对象的先前信息。使用一个经过训练的视频集合，我们的方法可以应用于此类对象的任何对象。

Feb, 2020

提出了一种基于静态缩略图和动画 GIF 的个性化艺术媒体的轻量级方法，该方法使用客户端设备的计算资源来分析轻量级缩略图容器（LTC）以识别个性化事件，并使用小视频片段来生成艺术媒体，相对于创建整个视频艺术媒体的基线方法，这使所提出的方法在计算上更加高效。

Jan, 2022

本文介绍了一个包含图文的在线会话数据集，并提出了一种基于多模态对话模型 Pepe the King Prawn 的图文回复选择算法，在实际测试中证明了相对于其他模型选择的高质量图文回复更受到用户的欢迎和认同。

Sep, 2021