Jun, 2023

Sticker820K: 通过表情包强化交互检索

PDF
TL;DR提出了一个大规模的中文贴纸数据集，Sticker820K，以及一个基于该数据集的 StickerCLIP 模型，其在贴纸数据集上的文本到图像检索任务中表现出强大的优势，并引入了 prompt tuning 技术扩展 LLM 模型的能力。
stickerschinese datasetstickercliptext-to-image retrievalprompt tuning
发现论文，激发创造
  • 贴纸对多模态聊天情感分析和意图识别的影响：一个新的任务、数据集和基线模型

    提出了一个新的任务：涉及贴纸的多模态聊天情感分析和意图识别 (MSAIRS)，并引入了一个包含来自多个主流社交媒体平台的中文聊天记录和贴纸的新颖多模态数据集。通过该数据集，我们能够更好地了解贴纸对聊天情感和意图的影响，并提出了一个有效的多模态联合模型 MMSAIR，对我们的任务进行验证并表明贴纸的视觉信息是重要的。我们的数据集和代码将公开提供。

    May, 2024

  • 通过多任务学习在开放域对话中选择贴纸

    该论文介绍了一种多任务学习方法，其包含三个辅助任务，强化对话历史、情感和标签的语义理解。在挑战性数据集上的大量实验表明，该模型可以更好地组合多模态信息，并在强基线模型上实现显着更高的准确性。消融研究进一步验证了每个辅助任务的有效性。

    Sep, 2022

  • StickerConv: 从零开始生成多模态共情回复

    通过使用代理人的互动来模拟人类使用贴图以增强多模式感性交流，该研究介绍了一种名为 Agent4SC 的贴图对话机器人，并发展了一个多模式感性对话数据集 StickerConv，通过增强多模式环境下感性应答的生成，提出了一种名为 PEGS 的多模式感性回复生成模型，并展示了其在生成相关上下文和情感共鸣的多模式感性回复方面的有效性，推动了更细致和引人入胜的感性对话系统的发展。

    Jan, 2024

  • 学习使用贴图进行回应：一种统一多模态多回合对话的框架

    本研究提出了一种基于多轮对话历史上下文的贴纸响应选择器（SRS）模型，无需外部标签即可推荐适当的贴纸，并使用卷积神经网络、自注意力网络和交互网络等技术实现了对话历史中贴纸的表示和匹配，实验结果表明该模型在常用指标上达到了最先进的性能。

    Mar, 2020

  • NLLB-CLIP – 在预算内训练高性能多语言图像检索模型

    通过有限的预算，我们尝试解决多语言图像检索的挑战性任务，展示出使用 NLLB-CLIP 模型的训练结果，该模型在低资源语言上的质量与最先进模型相媲美且明显优于它们。

    Sep, 2023

  • 增强图像检索：基于 CLIP 模型的照片搜索的全面研究

    CLIP 模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。

    Jan, 2024

  • CLIP4Clip: CLIP 耦合视频检索的实证研究

    本研究提出了 CLIP4Clip 模型，将 CLIP 模型的知识以端到端的方式迁移到视频 - 文本检索上，从多个角度对其表现进行实验证明其在各种数据集上比其他模型表现更好，同时释放其代码供学术界使用。

    Apr, 2021

  • 动态贴纸：通过视频扩散让贴纸栩栩如生

    我们引入了动画贴纸，一种根据文本提示和静态贴纸图像生成动画的扩散模型。我们的模型建立在最先进的 Emu 文本图像模型基础上，并通过添加时间层来模拟动作。为了弥合领域差异，即视觉和动作风格的差异，一个在生成自然视频方面表现良好的模型在应用于贴纸时无法生成生动的视频。为了弥合这一差距，我们采用了两阶段微调流程：首先使用弱域内数据，然后采用多教师集成策略，在人机协同策略下提取多个教师的最佳品质，进而生成较小的学生模型。我们展示了这种策略在保持静态图像风格的同时，针对动作质量的改进。通过推理优化，我们的模型能够在一秒钟内生成高质量、有趣且相关的八帧视频。

    Feb, 2024

  • LAION-400M：CLIP 过滤的 4 亿张图文对开放数据集

    这篇文章介绍了一个公共的数据集 LAION-400M，包含了 CLIP 过滤后的 4 亿对图片 - 文本配对、它们对应的 CLIP 嵌入以及 kNN 索引，能用于训练多模式语言视觉模型，进行零样本或少样本学习和迁移。

    Nov, 2021

  • 使用科学论文数据训练 CLIP 模型

    通过使用科学论文的文本 - 图像数据，该研究探索在特定领域内加入具有更高质量的有限数量数据是否能够提高 CLIP 模型的整体性能。小规模实验结果显示模型性能有中等程度的提升，表明使用该研究所考虑的数据来源来训练大规模 CLIP 模型是一个有价值的研究方向。

    Nov, 2023