multimodal generation | BriefGPT

关键词multimodal generation

搜索结果 - 11

LLMs 满足多模态生成和编辑的综述
多模态生成技术的调查，介绍了不同领域中的重要进展，包括图像、视频、3D 和音频，研究了方法和数据集，还提出了使用现有生成模型进行人机交互的工具增强型多模态代理，同时探讨了人工智能安全问题和新兴应用及未来前景。
PDFa month ago
C3LLM: 使用大型语言模型的条件多模式内容生成
我们介绍了 C3LLM（Conditioned-on-Three-Modalities Large Language Models），它是一个新颖的框架，将视频到音频、音频到文本和文本到音频三个任务结合在一起。C3LLM 以大型语言模型（L
PDFa month ago
通过与人工智能共创实现食品发展：有着 “爱的味道” 的面包
该研究利用人工智能，包括生成式人工智能，探索了一种新的食品开发方法，旨在制造令人愉悦并与消费者情感共鸣的产品。研究中使用的食材推荐方法可以被视为一种形式的多模态生成，它以文本为输入并输出食材候选。研究聚焦于制作 “浪漫面包”，这是一种融入了
PDF2 months ago
基于 Top-k 邻居的图像到文本提示的 CLIP 模型
以生成模型为基础，提出了一种用于图像生成提示的低成本方法，在无需大量标注数据的情况下生成文本提示，并将方法划分为在线和离线两个阶段。所提出的系统由离线任务和在线任务两个主要部分组成，具有最高的度量值 0.612，比 Clip、Clip +
PDF5 months ago
CoDi-2: 上下文、交错和交互的任意生成
CoDi-2 是一种多功能且互动的多模态大型语言模型，能够在任意输入 - 输出的模态范式下遵循复杂的多模态交织指令、进行上下文学习、推理、聊天、编辑等。通过对语言和模态进行编码和生成的对齐，CoDi-2 赋予大型语言模型不仅理解复杂的模态交
PDF7 months ago
C3Net：复合条件控制网络用于多模态内容生成
我们提出了 Compound Conditioned ControlNet（C3Net），这是一种新颖的生成神经架构，它从多种模态中获取条件并同时合成多模态内容（例如图像、文本、音频）。C3Net 将 ControlNet 架构适应到一个可
PDF7 months ago
MiniGPT-5：基于生成 Vokens 的交叉视觉与语言生成
分阶段训练方法和生成 vokens 提高大型语言模型在视觉和语言生成方面的效果。
PDF9 months ago
DiffBlender: 可扩展和可组合的多模态文本到图像扩散模型
通过设计一种多模态文本到图像扩散模型（DiffBlender），可以同时引入多种不同类型的细节表达方式，如草图、盒子和风格嵌入等，不需要更改现有模型的参数，从而在单个模型中实现条件生成，并且通过量化和定性比较，将多模态生成的标准提高到了新的
PDFa year ago
通过可组合扩散实现任意生成
Composable Diffusion 是一种新颖的生成模型，能够从任意的输入单模态生成任意的输出多模态，应用了一种基于扩散的模态对齐方式，实现了输入和输出的多模态自由组合生成，并在单模态综合中表现出色。
PDFa year ago
ACL通过视觉语言知识蒸馏实现在 CLIP 上的多模态生成
通过视觉 - 语言知识蒸馏 (VLKD) 增强双流 VLP 模型，使其具有多模态生成能力，实现开放式视觉问答和图像字幕等多模态生成任务的强零 - shot 性能。
PDF2 years ago
GANs N' Roses：稳定、可控、多样的图像到图像转换（也适用于视频！）
本文提出了一种使用内容编码和随机选取风格编码生成动漫图像的方法，并从其简单而有效的内容和风格定义中导出了对抗性损失，可以生成非常丰富的动漫风格；通过丰富的定量和定性实验支持本方法的正确性；并可在不训练视频的情况下进行视频转换，从而为内容和风
PDF3 years ago