multimodal embedding | BriefGPT

关键词multimodal embedding

搜索结果 - 6

可控的深度描述生成器与多模态嵌入桥接
提出了一种名为 ControlCap 的可控制的密集字幕生成器，通过引入语言指导来适应用户对于密集字幕生成的意图。ControlCap 是由多模态嵌入生成模块和双向嵌入桥接模块组成的多模态嵌入桥接架构。实验证明，ControlCap 在 V
PDF5 months ago
EXIF 作为语言：学习图像与相机元数据之间的跨模态关联
该研究提出一种学习相机信息的视觉表示方法，通过训练图像补丁和 EXIF 元数据之间的多模态嵌入来实现，所得特征在下游图像取证和校准任务中表现优异。
PDFa year ago
基于强化学习的数字人类互动推荐决策
本研究基于强化学习、多模态嵌入和图嵌入等技术，设计了一个新型的数字人互动推荐代理框架，以提高个性化推荐和数字人代理的效率和准确性。实验结果表明该框架具有更好的个性化客户参与和更好的客户体验。
PDF2 years ago
声音引导下的语义视频生成
本文提出了一种利用多模态（声音 - 图像 - 文本）嵌入空间生成逼真视频的框架，通过将声音和 StyleGAN 潜空间相结合生成一个语义上和声音一致的视频，并且在视频质量和编辑方面超过了现有的最先进方法。
PDF2 years ago
自然语言引导的强化学习在 Atari 游戏中的探索
该研究介绍了第一个深度强化学习代理，利用自然语言指令学习打败 Ataria 游戏。代理人利用环境观察和自然语言之间的多模态嵌入来自我监控进度，并通过完成自然语言指令来获得奖励。该代理人在 Montezuma's Revenge 环境上显著优
PDF7 years ago
深度视觉语义对齐生成图像描述
本文介绍了一个基于卷积神经网络、双向递归神经网络和多模态嵌入的模型，用于生成图像及其区域的自然语言描述，并展示了在多个数据集上，该模型的对齐模型均优于基准检索结果，生成的描述显著优于检索结果和基准。
PDF10 years ago