visual representation | BriefGPT

关键词visual representation

搜索结果 - 64

自然语言有助于缩小 Sim2Real 鸿沟
通过使用自然语言描述图像作为统一的信号来捕捉底层的任务相关语义，我们提出了一种方法来解决在学习图像条件机器人策略时所面临的模拟与真实世界之间的视觉差距问题，该方法通过对大量模拟数据和少量真实演示进行同时训练，将图像编码器作为无域变迁的图像表
PDF2 months ago
小语言模型的多模态助手全面重构
在本文中，我们研究了 Multimodal Small Language Models（MSLMs）的设计方面，并提出了一种高效的多模态助手 Mipha，旨在在视觉表示、语言模型和优化策略等各个方面产生协同效应。我们展示了在不增加训练数据量
PDF4 months ago
三维扩散策略
3D Diffusion Policy (DP3) is a novel visual imitation learning approach that incorporates 3D visual representations to t
PDF4 months ago
ChatIllusion: 高效对齐交错生成自适应可视化指导模型
通过 GenAdapter 将视觉表示能力集成到 ChatIllusion 中，ChatIllusion 是一种高级生成多模态大语言模型，结合了大语言模型的能力和视觉理解能力，能够为用户提供多样且高质量的图像输出，同时保持语义一致性和对话控
PDF7 months ago
走向强大而准确的视觉提示
我们研究了视觉提示在强大源模型下的性能表现，并提出了一种名为 Prompt Boundary Loose (PBL) 的新技术来有效减轻在标准准确性上的次优结果，同时使用强大模型作为源模型不会丧失（甚至明显改善）其对抗性鲁棒性。在多个数据集
PDF8 months ago
PixT3：基于像素的表格文本生成
通过图像化表格在表格到文本任务中的表现，本文证明图像化表格比典型的文本线性化更具空间效率，多模态方法在表格到文本任务中具有竞争力，并且在未知数据集中具有更好的泛化性能。此外，作者引入了一种新的中间训练课程以增强对表格结构的感知，从而提高模型
PDF8 months ago
CVPR学习基于偏相关的深度视觉表征，用于图像分类
本研究通过将 SICE 算法作为 CNN 的一个新型结构层，实现了利用偏相关方法构建图像的特征矩阵。与协方差矩阵比较，基于偏相关的图像特征矩阵可以更好地改善样本量小的问题，并在分类任务中获得优异的性能表现。
PDFa year ago
CVPR通过草图绘制学习具备几何意识的表示
LBS 学习通过绘画来表示场景，而不需要素描数据集。理论上证明绘画与任意仿射变换具有等变性，因此可以保留几何信息。实验结果显示 LBS 显着改善了对象属性分类的性能，并为不同下游任务提供了丰富的几何信息。
PDFa year ago
EVA-02：新世纪福音战士的视觉展现
通过使用 EVA-02，一款基于 Transformer 的视觉表示预训练算法，研究人员证明其在各种代表性视觉任务中具有卓越的性能，并且使用更少的参数和计算预算。
PDFa year ago
EXIF 作为语言：学习图像与相机元数据之间的跨模态关联
该研究提出一种学习相机信息的视觉表示方法，通过训练图像补丁和 EXIF 元数据之间的多模态嵌入来实现，所得特征在下游图像取证和校准任务中表现优异。
PDFa year ago
将视频场景的扩散替代梦境用于预测视频的可记忆性
通过 MediaEval 2022 Predicting Video Memorability 任务，我们研究了视觉记忆性、视觉表现和所表现的概念之间的关系，通过仅使用替代梦境图像训练和测试模型，实现了最先进的记忆性预测性能，并找到了强有力
PDF2 years ago
CACTI：一个可扩展的多任务多场景视觉模仿学习框架
本文提出了一个名为 CACTI 的框架，用于解决机器人学习的规模问题，并在厨房环境中进行多任务和多场景操纵的研究，在数据收集、数据增强、视觉表示学习和模仿策略训练等四个阶段进行处理，其实验结果表明了该方法的有效性。
PDF2 years ago
认知、概念化、推理和行动：通用视觉表征基准测试
提出了一个全面的综合基准，其中包括四个功能领域，即感知、基础、推理和行动，共计 11 个任务，并提供了一个通用编码器 - 解码器框架来评估任意的视觉表示。通过使用该基准，我们发现 Transformer-based 视觉骨干通常优于基于 C
PDF2 years ago
EVA: 探索规模下遮蔽式视觉表征学习的极限
我们在这篇论文中提出了 EVA，这是一种基于视觉的基础模型，能够大规模地探索视觉表征的极限，并且只使用公开可用的数据。通过解决预先设定的任务，我们可以有效地将 EVA 扩展到 10 亿个参数，并在诸如图像识别、视频动作识别、目标检测、实例分
PDF2 years ago
基于胶囊网络的无监督视觉表征对比学习
本文提出了一种新型的 Capsule 网络模型：基于对比损失的 Siamese 风格 Capsule 网络模型 CoCa，将其应用于无监督形象分类任务，如 CIFAR-10 数据集，达到了较高的准确度并在模型参数和计算复杂度上均优于现有的有
PDF2 years ago
通过对抽象目标的建模预测下一步行动
使用可变循环网络，结合视觉表示来提取目标信息，设计了一种抽象目标，用于减少人类行为预测中的不确定性，实验结果在多个数据集上达到了最新的最佳表现。
PDF2 years ago
VDL-Surrogate：一种基于视角依赖的潜变量模型，用于集合模拟参数空间的探索
该研究提出了 VDL-Surrogate，一种基于神经网络的代理模型，用于探索集合模拟的参数空间，以实现高分辨率的可视化，并且提供用户指定的可视化映射。
PDF2 years ago
REVIVE: 基于知识的视觉问答中区域视觉表达的重要性
研究表明视觉表征在基于知识的视觉问答（VQA）中具有重要意义，特别是物体区域信息的利用可以显著提高系统性能。作者提出了一种名为 REVIVE 的新型基于知识的 VQA 方法，该方法旨在利用物体区域的显式信息不仅在知识检索阶段，而且在答案模型
PDF2 years ago
ICLR掩模图像建模与去噪对比
本文提出了一种简单的自监督预训练框架 ConMIM，使用对比学习的方法在图像补丁级别上进行去噪自编码，通过不同的异构设计来提高网络的预训练性能，从而在多个视觉任务上实现了竞争性结果，如 ImageNet 分类，语义分割，目标检测和实例分割等
PDF2 years ago
基于图像增强的动量记忆内在奖励在稀疏奖励视觉场景中的应用
提出了一种新颖的框架 IAMMIR，将自我监督表征学习和内在动机相结合来解决视觉导航任务中只接受图像和稀疏奖励条件下智能体难以解决的问题。该方法在 Vizdoom 中进行评估，实现了样本效率的最佳表现，并且达到了 100% 的成功率，至少比
PDF2 years ago