Apr, 2023

众人的情感：通过跨模态蒸馏从推特学习图像情感

PDF
TL;DR本论文研究了社交媒体中的图像情感分析问题，提出了一种基于跨模态蒸馏范式的自动建立情感极性分类器的方法，即从文本数据和图像数据构建出学生模型，并在 Twitter 上收集的随机抓取的图像数据集上对模型进行了评估，证明了其在情感极性预测方面优于现有的方法。
发现论文，激发创造
  • 多模态情感分析：感知情绪 vs 引发情绪

    在这项研究中，我们提出了一个多模态框架，整合了视觉和文字特征来预测 GIF 表情的情感，并结合面部情绪检测和 OCR 生成的字幕来捕捉 GIF 的语义方面。通过在 Twitter GIF 上进行实验，我们的分类器达到了 82.7% 的准确率，优于最先进的模型。此外，我们基于 ReactionGIF 数据集进行研究，分析了作者和读者感知的情感差异。

    Dec, 2023

  • 利用渐进训练和域转移深度网络进行稳健的图像情感分析

    本篇论文使用卷积神经网络进行视觉内容的情感分析，对于利用大规模训练数据解决如此具有挑战性的图像情感分析问题提出了渐进式微调网络的策略，通过将人工标注的 Twitter 图像进行领域转移，提高了推特图像的性能，综合实验结果表明，所提出的 CNN 算法在图像情感分析中具有比竞争算法更好的性能。

    Sep, 2015

  • 多模态情感分析探索情绪结构

    本文提出一种新的多模态情感分析方法，使用深度神经网络结合视觉分析和自然语言处理，旨在推断用户潜在的情感状态并且在社交网络中应用此方法实现自我报告的情感标签的预测，实验证明该模型的性能优于仅基于图像或文本的单独模型，并具有与情绪相关的合理词汇列表。

    May, 2018

  • 多模态方面基情感分析技术用于社交媒体用户观点提取

    该研究使用机器学习技术分析社交媒体上用户的意见与经验，通过建立自动化数据分析流程找到图片和特定词汇，应用基于方面的情感分析方法发现用户对选择的主题的看法，提出了新的语义计算方法，为建筑专家等领域的研究者提供了新的见解。

    Oct, 2022

  • 从像素到情感：通过微调 CNN 进行视觉情感预测

    本研究探讨了如何利用卷积神经网络 (CNNs) 在社交媒体图片数据中进行视觉情感分析，通过微调实验和架构分析，本文提出了几种架构修改方法，使得模型对于图片情感的准确预测性能得到提升，并通过对模型的本地模式展示提供关于模型对于视觉正负情绪感知的见解。

    Apr, 2016

  • 多模态情感分类

    本文研究社交媒体中 emoji 图标的情感分类问题，并探讨了不同的多模态官能（文本、emoji 和图片）在此问题中的作用，结果表明三种官能可互补，最高准确度达到 71.98％。

    Mar, 2019

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020

  • IITK 在 SemEval-2020 任务 8 中：对互联网模因进行单模态和双模态情感分析

    本文探讨了使用自然语言处理和计算机视觉技术进行情感分析的问题，研究人员使用双模态和单模态的方法，提出了一种使用 Word2vec 嵌入的前向神经网络的文本单模态方法，在情感分类任务中相对于其他方法有 63％的改进。

    Jul, 2020

  • 多模态情感分析基准测试

    本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

    Jul, 2017

  • 多语言视觉情感概念匹配

    通过众包实验和单词嵌入，本文研究了文化对视觉情感感知的影响，并提供了一种有效的聚类框架，以探索、检索和浏览数据集中的多语言情感视觉概念，并通过基于众包的情感注释等新颖度量方法进行了评估。

    Jun, 2016