multi-modality learning | BriefGPT

关键词multi-modality learning

搜索结果 - 8

SG-Adapter：使用场景图引导增强文本到图像生成
通过引入场景图适配器（SG-Adapter）来纠正原始文本嵌入中的不准确性，使生成的图像与复杂情境中的多个对象和关系的人类预期保持一致。
PDFa month ago
DNAct：扩散引导的多任务三维策略学习
本文介绍了 DNAct，一种语言驱动的多任务策略框架。该框架集成了神经渲染预训练和扩散训练，以在动作序列空间中实现多模态学习。通过利用神经渲染从基础模型中提取二维语义特征并转化到三维空间，DNAct 可以对场景进行全面的语义理解，从而适用于
PDF4 months ago
使用 CodeSearchNet 语料库学习深度语义模型进行代码搜索
本文提出了一种新颖的深度语义模型，利用多模式来源和特征提取器的效用，将交叉语言嵌入与大批量和难样例挖掘结合起来，结合不同的学习表示来增强表示学习，以解决语义代码搜索任务，该模型在 CodeSearchNet 语料库上训练并在保留数据上评估，
PDF2 years ago
AAAI利用在线互相知识蒸馏实现跨模态医学图像分割
本文提出了一种利用形状先验知识和图像对齐模块，通过多模态数据协同分割医学图像的方法，并通过实验在 MMWHS 2017 数据集上验证了该方法在 CT 分割上的优越性。
PDF4 years ago
CVPR多媒体社交分析的数据集和基准测试
该论文介绍了一个通过从社交媒体网站获取包含多个成对图像 / 视频和文本的帖子以及包含图像 / 视频和 / 或文本的评论树来实现多模态学习的新的可公开获取的数据集，并提供了基线性能分析，适用于图像字幕、情感分析和预训练模型等多项任务。
PDF4 years ago
ICLR异质编码随机生成对抗网络的变分方法应用于图文联合建模
本文提出了可变异率异质编码器随机生成对抗网络 (VHE-GAN)，并将其应用于双向联合图像文本建模，以生成更准确的图像及关联文本，同时通过对抗训练和可变后验进行端到端训练来捕捉和关联层次语义和视觉概念，从而在各类图片和文本生成任务中取得了最
PDF5 years ago
口语中的视觉场景物体指称
本文探讨了用口语作为输入的物体指称（ORSpoken），通过介绍两个数据集和一种新的方法来为多模式学习提供了理想的数据集，并在相应的层次引入任务特定的视觉语言交互，实验表明我们的方法在减轻背景噪声方面具有很好的效果。
PDF7 years ago
深度学习联合视觉降噪和分类
本研究提出了一种基于深度自编码器和多模态学习启发的、用于手写图像的视觉恢复和识别联合框架，采用三通道深度结构，通过非线性映射将视觉恢复和分类统一使用共享表示。在 MNIST 数据和 USPS 数据上测试，本框架在分类上的表现比分离流程至少提
PDF8 years ago