Jun, 2024

利用 LMM 激发的情感嵌入进行干扰图像检测

PDF
TL;DR本研究通过利用大型多模型模型中编码的知识，提出了一种新的方法来解决干扰图像检测的任务。该方法通过提取通用语义描述和引发的情感来利用多模型模型中的知识，并利用 CLIP 的文本编码器获取文本嵌入。最后，将这些文本嵌入与相应的 CLIP 图像嵌入一起用于进行干扰图像检测任务，从而显著提高了基准分类准确度，达到了该领域的最新性能。
disturbing image detectionlarge multimodal modelsknowledgeclip's text encoderclassification accuracy
发现论文，激发创造
  • 基于 LMM 的知识在图像分类任务中的利用

    使用 Large Multimodal Models 中的 MiniGPT-4 模型，结合图像编码器和文本编码器提取语义描述，以提高图像分类任务的性能。

    Jun, 2024

  • 图像标题的情感背景评估

    通过图像的标题生成以及使用大型语言模型（LLMs）进行推理的方法，该论文探讨了 LLMs 是否可以支持上下文情感估计任务，并表明 GPT-3.5 模型在情感预测方面具有潜力。

    Sep, 2023

  • EmoLLM：多模态情感理解与大型语言模型

    通过引入 EmoBench 和 EmoLLM，基于多模态大型语言模型的多模态情感理解性能得到显著提升，提供了更深入、更细致的人类情感理解，为人机交互、心理健康支持和共情人工智能系统等领域的应用开发提供了可能。

    Jun, 2024

  • 情感 - LLaMA: 多模态情感识别与推理，通过指导调优

    为了解决情感识别中的单模态方法在捕捉真实世界情感表达复杂性方面的局限性，我们提出了 MERR 数据集和 Emotion-LLaMA 模型，通过整合音频、视觉和文本输入，显著提高情感识别能力，并在 evaluations 中取得了优异的成绩。

    Jun, 2024

  • 用常识推理提供更好的语境进行情感理解的 VLLMs

    利用视觉和大规模语言模型（VLLMs）的开创性能力，我们提出了一种两阶段方法来增强上下文情绪分类，首先利用 VLLMs 生成自然语言描述主体与视觉情境之间的明显情绪，然后将这些描述与图像输入一起用于训练融合文本和视觉特征的基于变换器的结构，在不引入复杂训练方法的情况下显著优于单一模态，并且在 EMOTIC、CAER-S 和 BoLD 三个数据集上达到了与更复杂方法相媲美甚至更高的准确性。

    Apr, 2024

  • EmoLLMs：一系列用于全面情感分析的情感大型语言模型和注释工具

    基于指令数据微调各种 LLMs 的 EmoLLMs 系列兼具情感分类和回归任务的综合情感分析模型，在各类任务中超越了现有的 LLMs、ChatGPT 和 GPT-4，具有与 ChatGPT 和 GPT-4 相当的情感分析自动化标注工具的广泛应用能力。

    Jan, 2024

  • 朝向基于情绪的合成意识：使用 LLMs 估计情绪概率向量

    利用 LLMs（大型语言模型）估计与文本相关的情感状态摘要。通过对亚马逊产品评论的情感分析，将情感描述符映射到 PCA 类型的空间中，并探索通过尾部提示来引发改进当前文本状态的行动描述，然而实验结果表明这并不是一项直接可行的任务。

    Oct, 2023

  • 基于图像的逼真且保持身份无损的情绪操控与潜在扩散模型

    探究通过 “野外” 图像进行情绪操作的扩散模型的能力并进行广泛的定量和定性评估，该方法在图像质量和真实性方面表现卓越，与基于 GAN 的对应方法相比，在情绪转换方面取得了有竞争力的结果。

    Aug, 2023

  • 利用 MLLM 的能力进行可迁移的文本到图像人物再识别

    通过使用多模态大型语言模型，本文提出了一种用于人物图像重新识别的文本到图像转换方法，通过生成各种模板的描述来构建大规模数据集，同时使用相似性判断方法处理不准确的描述，从而显著提升直接转换的文本到图像人物重新识别性能。

    May, 2024

  • RAEmoLLM: 基于情感信息的跨领域虚假信息检测的检索增强 LLM

    该论文提出了 RAEmoLLM 框架，通过应用情感感知 LLM 构建一个含有情感嵌入的检索数据库，以实现跨领域的虚假信息检测。实验结果显示，RAEmoLLM 较零样本方法在三个数据集上均获得显著提高，其中最高分别提高了 20.69%、23.94% 和 39.11%。

    Jun, 2024