KDDAug, 2017

神经模仿实现的电影融合

PDF
TL;DR本研究提出了一种基于跨模态数据检索，利用深度学习模型，将书籍的内容通过其对应电影视觉呈现出来，研究并比较了使用对话、视觉和混合模型匹配书和电影内容的有效性。
cross-modal data retrievalbook-to-movie conversiondeep learningdialog modelvisual model
发现论文，激发创造
  • 通过观看电影和阅读图书，使书籍与电影结合：朝着故事般的视觉解释

    本文旨在利用神经嵌入和上下文敏感的卷积神经网络将电影与小说对齐，以提供更广泛的语义性内容解释，为视觉内容提供详细的描述信息，为此我们展示了良好的定量性能和多样性的任务示例。

    Jun, 2015

  • MovieLLM：使用 AI 生成的影片增强长视频理解能力

    MovieLLM 提出了一种新颖的框架，利用 GPT-4 和文本到图像模型生成详细的脚本和对应的视觉，从而创造出长视频的合成高质量数据。该方法通过解决数据稀缺和偏见等问题，显著提高了多模态模型对复杂视频叙事的理解能力，克服了现有数据集的限制。

    Mar, 2024

  • 学习多模态语义对齐模型以进行故事可视化

    在 GAN 生成模型中学习文本和图像表示之间的语义对齐以缓解文本图像语义不匹配问题，进而生成连贯、高质量的多句故事可视化。

    Nov, 2022

  • 使用自然语言的语言 - 视觉嵌入学习以理解电影

    本文研究了三种不同的联合语言 - 视觉神经网络模型，使用 LSMDC16 电影数据集评估模型在自然语言图像 / 视频注释和检索任务中的性能，并在标准排名和多项选择测试中取得优异的结果。

    Sep, 2016

  • 从预告片到剧情：从电影中高效学习的方法

    该研究通过设计视觉模块和时间分析模块，提出了一种从电影数据中学习视觉模型的替代方法，可以通过预告片学习视觉模块，通过电影数据学习时间分析模块，大大减少学习成本的同时还能够保留长期的时间结构和有效的视觉特征。

    Jun, 2018

  • 多模态体验启发的人工智能创作

    基于多模态信息的序列到序列架构和课程负采样策略被设计，以解决基于人类经验生成文本的新问题，并在新的多模态体验数据集上进行了广泛的实验，取得了较大的改进。

    Sep, 2022

  • IMAD: 图像增强的多模态对话

    该研究提出了一种基于多模态视角的对话系统，并通过构建 IMAD 数据集和进行基线模型训练，证明了其在图像解释、数据集建设和模型表现方面具有潜在优势。

    May, 2023

  • 以意象为探索：探索一种用于对话推荐的多模态数据集

    通过多模态数据集，我们介绍了一个用户通过图像表达偏好的研究。这个数据集包含了从风景到艺术表现的广泛的视觉表达，用户请求推荐具有类似感觉的书或音乐，并由社区通过点赞支持。我们的实验证明了大型基础模型在这些任务中的局限性。特别是，视觉 - 语言模型与仅使用描述的语言模型相比没有显著优势，我们推测这是因为未充分利用的视觉能力。为了更好地利用这些能力，我们提出了图像链推理的方法，并取得了显著改进。我们公开发布了我们的代码和数据集。

    May, 2024

  • 通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

    本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

    Nov, 2017

  • 使用深度神经网络增强电影情感体验预测：音频和语言的重要性

    本文研究使用深度神经网络模型准确预测电影观众观看电影时所体验到的人类情感，其中包括来自 RGB 视频帧的视觉提示，涵盖声音、语音和音乐的听觉组件，以及包含演员对话的语言元素。

    Jun, 2023