image encoders | BriefGPT - AI 论文速递

关键词image encoders

搜索结果 - 6

基于 Transformer 的视觉编码器中的表示结构有多强化？对视觉语言模型中多物体表示的分析
利用图像编码器评估大型视觉语言预训练模型的结构化表示状态，揭示了这些模型在基本多对象场景下的失败模式。
PDF23 days ago
基于文本模态的图像特征提取用于检测基于扩散的深度伪造
通过传统图像编码器提取的特征分析发现，无论是低级特征还是高级特征都对于识别不同扩散方法制作的 DeepFake 图像具有独特的优势。受到这一发现的启发，我们旨在开发一种有效的表示方法，以捕捉低级和高级特征来检测基于扩散的 DeepFakes
PDFa month ago
具有 Siamese 裁剪遮罩自编码器的高效图像预训练
CropMAE 是一种替代 SiamMAE 的 Siamese 预训练方法，通过仅考虑从同一图像裁剪而来的图像对，而不是从视频中提取的帧对，从而减少了对视频数据集的需求，同时保持了竞争性能，并大幅减少了预训练时间。此外，CropMAE 证明
PDF3 months ago
Med3DInsight：利用 2D 多模态大型语言模型增强 3D 医学图像理解
通过结合现有的 3D 图像编码器和 2D MLLMs，并通过设计的 Plane-Slice-Aware Transformer（PSAT）模块，提出了一种名为 Med3DInsight 的新颖预训练框架，用于增强对 3D 医学图像的理解。实
PDF4 months ago
UAlberta 参加 SemEval-2023 任务 1：多语言视觉词义消歧的上下文增强和翻译
本文讲述了 Alberta 大学团队在 SemEval-2023 视觉词义消歧（V-WSD）任务中的系统，使用 BabelNet 中检索到的注释、文本和图像编码器的组合的新算法。此外，我们将语言特定的编码器与应用于翻译文本的英语编码器进行比
PDFa year ago
自监督不助于大规模自然语言监督
本研究探讨了自监督与自然语言监督相结合，对大规模图像 - 文本训练的影响，结果表明，这种结合方式能够提高小数据集的表现，但对大规模数据集并没有显著提升。
PDFa year ago