visual representations | BriefGPT

关键词visual representations

搜索结果 - 87

冰冷月球表面模拟与采样自主性的立体深度估计
为了解决冰卫星着陆任务中的采样自主性问题，我们提出了图形化工具用于冰卫星表面模拟 (GUISS) 框架，用于生成深度估计的立体数据集，并评估了传统和深度学习算法在不同的可视化假设下的性能。
PDF5 months ago
MIVC：用于视觉语言模型的多实例视觉组件
本文提出了 MIVC，一种通用的多实例可视化组件，通过神经网络以排列不变的方式汇总视觉表示，以填补各种图像输入与预训练语言模型之间的差距。我们展示了 MIVC 如何整合到视觉语言模型中，显著提高了视觉问答、分类和标题任务的模型性能，并使用公
PDF6 months ago
DMT：多个自监督教师进行的全面蒸馏
通过利用多个自监督模型的优势，压缩预训练模型，并在分类任务和密集任务中显著提高性能。
PDF6 months ago
照顾者的交流塑造婴幼儿视觉能力：双人游戏的计算研究
研究表明，照顾者的命名话语可以改善婴儿的视觉表征能力。
PDF7 months ago
强大的视觉表达学习者：重塑 Image-GPT
本文介绍了 D-iGPT，这是对 image-GPT 进行改进的一种方法，通过将预测目标从原始像素转移到语义标记上，实现对视觉内容的更高级理解，并通过预测可见标记来补充自回归建模，实现了更好的效果。实验证明，D-iGPT 在 ImageNe
PDF7 months ago
本地 - 全局自监督视觉表示学习
本研究探索了将图像级别与局部级别的判别相结合的自我监督表示学习方法，通过同时观察局部和全局视觉特征来增强学习表示的质量。我们提出了一个简单而有效的补丁匹配算法，借助视觉变换器（ViT）作为骨干网络，从而生成图像级别和补丁级别的表示。结果显示
PDF8 months ago
更长范围上下文化的遮蔽自编码器
我们提出了一种自我监督学习框架，称为 “长程上下文化蒙版自编码器（LC-MAE）”，该方法能够有效地利用全局上下文理解视觉表示，同时减少输入的空间冗余。通过从多个视角学习完整像素和稀疏像素的本地表示，LC-MAE 能够学习到更具有区分性的表
PDF8 months ago
评估对于需要空间几何推理的物体组装任务的视觉表示的稳健性
本研究主要评估和基准测定在物体装配任务中视觉表示的鲁棒性。研究采用了一个视觉运动策略学习的通用框架，将预训练模型用作视觉编码器，并发现从头开始训练的视觉编码器在双臂操纵设置中表现出更好的性能，而现有的预训练模型则不足以满足此任务所需的重要视
PDF9 months ago
CAPro: 跨模态对齐原型的网络监督学习
本论文提出了一种名为 CAPro 的统一原型对比学习框架，它利用文本原型和视觉特征空间来解决 web 图像学习中的标签噪声问题，并取得了显著的性能提升。
PDF9 months ago
你在意什么？致力于机器人学习的视觉表征对齐
通过人类反馈，提出了一种用于解决视觉表征对齐问题和视觉奖励学习问题的方法：表示对齐的基于偏好的学习（RAPL）。在 X-MAGICAL 和机器人操纵的实验中，RAPL 的奖励 consistently 生成高样本效率的优选机器人行为，并在视
PDF9 months ago
面向人类的机器人操作的表示学习
人类具有内在的通用视觉表征，使其能够高效地探索和与环境进行物体操控。本研究提出使用多任务微调的方式在经过预训练的视觉编码器上学习感知技能，通过任务融合解码器指导表示学习，使得对于所有感知技能来说，学习编码的结构能够更好地表示重要信息，最终为
PDF9 months ago
ICCVLAC：基于骨骼的动作分割的潜在行动组合
骨架动作分割需要在未修剪的视频中识别可组合的动作。本文提出了一种名为潜在动作组合（LAC）的自监督框架，通过学习合成的可组合运动，从骨架动作序列中学习视觉表示，在转移学习中表现出色。
PDF10 months ago
MC-JEPA: 一种联合嵌入预测架构用于自监督学习的动作和内容特征
共享编码器的 MC-JEPA 联合嵌入预测架构和自监督学习方法在光流估计和内容特征方面取得相当的性能，并在图像和视频的语义分割等下游任务上与现有的无监督光流基准和常见的自监督学习方法相当。
PDFa year ago
L-DAWA：联邦自监督视觉表示学习中的分层散度感知权重聚合
该研究提出了一种新的聚合策略 Layer-wise Divergence Aware Weight Aggregation (L-DAWA)，通过在聚合时考虑客户端模型和全局模型之间的角度差异，缓解了联邦学习聚合时客户端偏差和差异带来的影响
PDFa year ago
T-MARS：绕过文本特征学习以改进视觉表示
基于我们观察到 LAION 图像中将近 40% 的图像包含与标题有显著重叠的文本，我们提出了一种新的最先进的数据过滤方法，T-MARS（文本遮罩和重新评分），通过先遮罩文本，然后过滤掉低 CLIP 相似性分数的遮罩图像，过滤掉只有文本占主导
PDFa year ago
线下训练，线上测试：一个真实机器人学习基准测试
通过新的基准测试 TOTO 挑战机器人学习研究中的三个限制：昂贵的机器人硬件限制了研究范围，各人使用不同的机器人导致结果不能推广到其他实验室，以及缺乏互联网规模的机器人数据。TOTO 为用户提供访问共享机器人硬件和任务数据集的机会，以进行任
PDFa year ago
AI 写作：图像生成和数码写作之间的关系
此篇研究论文讨论了基于 transformer 的 AI 文本生成系统（例如 GPT-3）和基于 AI 的文本到图像生成系统（例如 DALL-E 2 和 Stable Diffusion）如何改变数字艺术和电子文学领域，并探讨了由这些系统创
PDFa year ago
CVPR掩膜图像建模的硬贴片挖掘
本文提出了一个基于 Hard Patches Mining (HPM) 的框架，用于 Masked Image Modeling (MIM) 的预训练，采用相对关系学习策略，通过预测损失值来决定下一步的掩码。实验证明仅引入损失预测目标就能产
PDFa year ago
CVPR元组合指代表述分割
本文通过元学习的角度，提出了一种 Meta Compositional Referring Expression Segmentation (MCRES) 框架，以提高模型的组合泛化性能。我们的框架可以有效地驱使模型更好地捕捉单个概念的语义
PDFa year ago
扩散模型作为遮盖自编码器
本文提出一种使用掩码自编码器作为扩散模型的条件，进而重复生成预训练视觉表示的方法，具备强大的下游识别任务的初始化能力，高质量图像修复和无需额外努力即可应用于视频分类等许多优点。同时，本文还对设计选择的利弊进行了全面的研究并建立了扩散模型和掩
PDFa year ago