该论文介绍了一种多任务学习方法，其包含三个辅助任务，强化对话历史、情感和标签的语义理解。在挑战性数据集上的大量实验表明，该模型可以更好地组合多模态信息，并在强基线模型上实现显着更高的准确性。消融研究进一步验证了每个辅助任务的有效性。

Sep, 2022

本研究提出了一种基于多轮对话历史上下文的贴纸响应选择器（SRS）模型，无需外部标签即可推荐适当的贴纸，并使用卷积神经网络、自注意力网络和交互网络等技术实现了对话历史中贴纸的表示和匹配，实验结果表明该模型在常用指标上达到了最先进的性能。

Mar, 2020

提出了一个大规模的中文贴纸数据集，Sticker820K，以及一个基于该数据集的 StickerCLIP 模型，其在贴纸数据集上的文本到图像检索任务中表现出强大的优势，并引入了 prompt tuning 技术扩展 LLM 模型的能力。

Jun, 2023

通过使用代理人的互动来模拟人类使用贴图以增强多模式感性交流，该研究介绍了一种名为 Agent4SC 的贴图对话机器人，并发展了一个多模式感性对话数据集 StickerConv，通过增强多模式环境下感性应答的生成，提出了一种名为 PEGS 的多模式感性回复生成模型，并展示了其在生成相关上下文和情感共鸣的多模式感性回复方面的有效性，推动了更细致和引人入胜的感性对话系统的发展。

Jan, 2024

本文研究社交媒体中 emoji 图标的情感分类问题，并探讨了不同的多模态官能（文本、emoji 和图片）在此问题中的作用，结果表明三种官能可互补，最高准确度达到 71.98％。

Mar, 2019

近年来，多模态自然语言处理引起了广泛关注，但我们需要更清晰地分析多语言环境下的多模态任务。本文通过一个简单的策划过程，将一份现有的文本 Twitter 情感数据集转化为多模态格式，从而填补了先前主要关注英语的情感分析研究的空白，并为研究界开辟了情感相关研究的新领域。此外，我们利用这个增强的数据集进行了基准实验，并报告了结果。值得注意的是，我们的评估结果显示，在单模态和多模态配置相比较时，使用一个经过情感调整的大型语言模型作为文本编码器表现出色。

Apr, 2024

研究了一种基于多模态方法的表情符号预测技术，通过结合图片和文本信息可以更准确地进行表情符号预测，并发现这两种模态的信息能够相互补充从而提高预测准确性。

Mar, 2018

通过调查信息发送者和接收者，本文研究了四种不同类型表情符号的使用动机、意图以及在语境影响下的情感效果。研究结果发现四种表情符号差异显著，其在非语言交流中具有独特的功能。

Mar, 2017

在这项研究中，我们提出了一个多模态框架，整合了视觉和文字特征来预测 GIF 表情的情感，并结合面部情绪检测和 OCR 生成的字幕来捕捉 GIF 的语义方面。通过在 Twitter GIF 上进行实验，我们的分类器达到了 82.7% 的准确率，优于最先进的模型。此外，我们基于 ReactionGIF 数据集进行研究，分析了作者和读者感知的情感差异。

Dec, 2023

我们引入了动画贴纸，一种根据文本提示和静态贴纸图像生成动画的扩散模型。我们的模型建立在最先进的 Emu 文本图像模型基础上，并通过添加时间层来模拟动作。为了弥合领域差异，即视觉和动作风格的差异，一个在生成自然视频方面表现良好的模型在应用于贴纸时无法生成生动的视频。为了弥合这一差距，我们采用了两阶段微调流程：首先使用弱域内数据，然后采用多教师集成策略，在人机协同策略下提取多个教师的最佳品质，进而生成较小的学生模型。我们展示了这种策略在保持静态图像风格的同时，针对动作质量的改进。通过推理优化，我们的模型能够在一秒钟内生成高质量、有趣且相关的八帧视频。

Feb, 2024