该论文介绍了一种多任务学习方法，其包含三个辅助任务，强化对话历史、情感和标签的语义理解。在挑战性数据集上的大量实验表明，该模型可以更好地组合多模态信息，并在强基线模型上实现显着更高的准确性。消融研究进一步验证了每个辅助任务的有效性。

Sep, 2022

本研究提出了一种基于多轮对话历史上下文的贴纸响应选择器（SRS）模型，无需外部标签即可推荐适当的贴纸，并使用卷积神经网络、自注意力网络和交互网络等技术实现了对话历史中贴纸的表示和匹配，实验结果表明该模型在常用指标上达到了最先进的性能。

Mar, 2020

提出了一个新的任务：涉及贴纸的多模态聊天情感分析和意图识别 (MSAIRS)，并引入了一个包含来自多个主流社交媒体平台的中文聊天记录和贴纸的新颖多模态数据集。通过该数据集，我们能够更好地了解贴纸对聊天情感和意图的影响，并提出了一个有效的多模态联合模型 MMSAIR，对我们的任务进行验证并表明贴纸的视觉信息是重要的。我们的数据集和代码将公开提供。

May, 2024

提出了一个大规模的中文贴纸数据集，Sticker820K，以及一个基于该数据集的 StickerCLIP 模型，其在贴纸数据集上的文本到图像检索任务中表现出强大的优势，并引入了 prompt tuning 技术扩展 LLM 模型的能力。

Jun, 2023

借助基于表情符号的标注语料以及引入强化条件变分编码器，论文提出了一种生成具有特定情感的高质量抽象会话回复的深度生成模型。

Nov, 2017

本文介绍了一个包含图文的在线会话数据集，并提出了一种基于多模态对话模型 Pepe the King Prawn 的图文回复选择算法，在实际测试中证明了相对于其他模型选择的高质量图文回复更受到用户的欢迎和认同。

Sep, 2021

本文提出了一种基于多模态预训练编码器的共话手势生成方法，该方法通过自监督学习训练基于多头注意力的编码器以包含每种模态的信息，从而实现即使在输入模态缺失或存在噪声时，仍能生成逼真的共话手势。

May, 2023

EmotiCon 是一个基于学习的算法，用于从视频和图片中识别上下文感知的人类情感。该算法利用多种模态，自注意力卷积神经网络以及深度图模型识别情感，提高了对 EMOTIC 和 GroupWalk 数据集中情感进行识别的准确率。

Mar, 2020

该研究提出了一个多模态数据集，用于个人经历分享中的共情研究，其中包含 41 名参与者在与人工智能代理共享脆弱经历并阅读共情共鸣故事期间的 53 小时视频、音频和文本数据。该数据集是首个关于共情的纵向数据集，通过社交机器人在参与者家中一个月的使用中收集，在自然的共情叙事互动中参与者与 AI 代理进行交互。研究引入一项新的任务，基于个人经历预测个体对他人故事的共情，评估其在个人共享故事环境和他们阅读故事的反思中的效果。研究为未来在上下文化和纵向共情建模方面的改进铺平了道路，并为发展富有共情能力的 AI 系统和理解真实世界情境下人类共情的复杂性提供了宝贵资源。

May, 2024

我们引入了动画贴纸，一种根据文本提示和静态贴纸图像生成动画的扩散模型。我们的模型建立在最先进的 Emu 文本图像模型基础上，并通过添加时间层来模拟动作。为了弥合领域差异，即视觉和动作风格的差异，一个在生成自然视频方面表现良好的模型在应用于贴纸时无法生成生动的视频。为了弥合这一差距，我们采用了两阶段微调流程：首先使用弱域内数据，然后采用多教师集成策略，在人机协同策略下提取多个教师的最佳品质，进而生成较小的学生模型。我们展示了这种策略在保持静态图像风格的同时，针对动作质量的改进。通过推理优化，我们的模型能够在一秒钟内生成高质量、有趣且相关的八帧视频。

Feb, 2024