zero-shot capability | BriefGPT

关键词zero-shot capability

搜索结果 - 15

CVPR多模式提示下的开放世界人物 - 物体交互检测
我们开发了一种名为 MP-HOI 的强大的多模态基于提示的 HOI 检测器，它能够利用文本描述进行开集通用化，并通过处理描述中的高歧义，实现对开放世界中的 HOI 的检测。我们构建了一个名为 Magic-HOI 的大规模 HOI 数据集，用
PDF25 days ago
零样本多物体形状完成
我们提出了一种 3D 形状补全方法，通过单个 RGB-D 图像从复杂场景中恢复多个对象的完整几何形状。我们的方法 OctMAE 利用八叉树 U-Net 和潜在的 3D MAE，在本地和全局几何推理中实现高质量和接近实时的多对象形状补全，并引
PDF4 months ago
CLAPP: 在被动水下船舰分类中的对比式语音 - 语言预训练
在这项研究中，我们介绍了一种名为 CLAPP（Contrastive Language-Audio Pre-training in Passive Underwater Vessel Classification）的新模型，旨在通过使用从一
PDF6 months ago
AAAIProxyDet：通过类别混合合成代理新类别，用于开放词汇的目标检测
通过利用预训练的视觉和语言模型（如 CLIP）的零样本能力，结合伪区域标注的外部数据源，提出了一种在 CLIP 嵌入空间中通过线性混合虚拟生成接近新颖类的代理新颖类的新颖而简单的技术，该技术能够在整体新颖类分布上改进开放词汇目标检测模型的泛
PDF7 months ago
多智能体决策的屏蔽预训练
提出了一种基于 Transformer 架构的 MaskMA 预训练框架，通过分布式执行和部分观察的方式，同时解决了多智能体决策中分布式预训练和执行不匹配以及智能体数量和行动空间多样性的问题，实验结果显示 MaskMA 在多个任务上都表现出
PDF9 months ago
Dynamic-SUPERB：面向语音的动态、协作和全面的教学调优基准
为了提供评价语音处理任务通用模型的基准，我们介绍了 Dynamic-SUPERB，该基准通过结合 33 个任务和 22 个数据集，提供了多维度的综合评估平台，并提出了一些建立基准的方法。评估结果表明，虽然这些基准在已知任务上表现得合理，但在
PDF10 months ago
食品 SAM：任何食品分割
FoodSAM 是一种创新的框架，整合了粗糙的语义掩膜和 SAM 生成的掩膜，以提高语义分割质量，并将零样本能力扩展到实例分割和全景分割，是首个在食品图像上实现实例、全景和可提示分割的工作。
PDFa year ago
从关联到生成：通过无监督的跨模态映射进行纯文本描述
本文介绍了一种名为 Knight 的基于 K 最近邻跨模态映射的零样本图像和视频描述生成方法，利用文本无监督训练实现了图像和视频描述的最新零样本表现。
PDFa year ago
NaturalSpeech 2: 潜在扩散模型是自然且零 - shot 的语音和歌唱合成器
本研究提出了一种利用神经音频编解码器和扩散模型生成取定潜向量的文本转语音系统，同时设计了自然语音提示机制以促进扩散模型和时域 / 频域预测器的上下文学习，能够实现不同说话人以及多样化合成的语音转换。实验表明，在零样本情况下，与之前的 TTS
PDFa year ago
基于草图的视频物体定位
本文提出一种名为 Sketch-based Video Object Localization (SVOL) 的任务，通过 Sketch-Video Attention Network (SVANet) 的 Cross-modal Tran
PDFa year ago
CVPRVILA：利用视觉语言预训练学习用户评论中的图像美学
提出一种基于用户评论的图像审美预测方法，使用视觉 - 语言预训练模型学习图像的审美表现，结合排名适配器模块设计了一种高效的模型适配方法。实验结果表明，该模型在图像美学字幕生成、零样本风格分类和零样本图像审美评价等任务上表现良好，达到了预先训
PDFa year ago
CVPRConZIC: 基于采样平滑的可控零样本图像字幕生成
本研究提出了一种名为 ConZIC 的可控零样本图像字幕生成框架，其中核心是一种称为 GibbsBERT 的采样式非自回归语言模型，与 ZeroCap 相比，ConZIC 在保证准确性的情况下，生成速度可达 5 倍以上，多样性指标高出 1.
PDFa year ago
一种弱监督的流式多语言语音模型，具有真正的零 - shot 能力
本文介绍了建立流式多语言语音模型 (SM2) 的工作，基于 Transformer Transducer，使用弱监督数据通过机器翻译服务训练模型，拥有较强的流式能力和真正的零 - shot 能力，并取得了非常好的翻译质量。
PDF2 years ago
视觉线索：跨越视觉和语言基础的 image 段落字幕生成
本文阐述了如何使用视觉线索（Visual Clues）桥接预训练的视觉基础模型和语言模型，无需任何额外的跨模态训练，从而可以获得图像的详细信息和语义表示，并通过定量和定性的度量评估了生成的描述的质量，结果表明该结构化语义表示方法具有有效性。
PDF2 years ago
AvatarCLIP: 零样本文本驱动的 3D 头像生成与动画
提出了一种使用自然语言驱动的零样本文本框架 --AvatarCLIP，用于三维头像的生成和动画制作，并利用 CLIP 来监督神经人类的生成，实现了超强的零样本能力。
PDF2 years ago