Mar, 2023

寻找一个为具身智能而设计的人工视皮层的进展

PDF
TL;DR该研究是关于预先训练视觉表示（PVRs）或视觉基础模型在具体应用中的最全面的实证研究。研究发现，尽管数据规模和多样性通常能提高性能，但是没有任何一种 PVR 可以普遍占优。然而，通过对 VC-1 进行特定任务适应性的调整，可在 CortexBench 的所有基准测试中实现与最佳结果相当或更好的性能表现。
pre-trained visual representationsembodied aidata scale and diversitymasked auto-encodingtask-specific adaptation
发现论文，激发创造
  • 大规模预训练视觉表示在模拟和真实环境中的研究：我们从中学到了什么？

    大规模实证研究表明预训练视觉表示（PVRs）的使用对训练执行现实任务的下游策略非常有用，尤其在操作和室内导航任务中表现出明显的性能优势。

    Oct, 2023

  • 使用遮蔽视觉预训练的真实世界机器人学习

    本文研究了利用自监督学习方法从真实世界的机器人任务中的多样化视频图像中进行视觉预训练，在多种机器人任务和实体上表现出了较高效果，并通过在 4.5M 张来自互联网和自怎样视角视频的大规模数据上进行的预训练，展示了对于机器人学习的视觉预培训的规模化提升的好处。

    Oct, 2022

  • 基于视频和合成 MRI 的三维视觉架构预训练用于神经影像分析

    通过对多种视觉架构进行基准测试，证明了预训练模型在新兴数据集上的初始化价值，使得这些预训练模型能够适应各种下游神经影像任务，即使目标任务的训练数据有限。

    Sep, 2023

  • 3D-MVP：用于机器人操纵的三维多视角预训练

    提出了 3D-MVP，一种使用遮罩自编码器进行 3D 多视图预训练的新方法，通过在大规模 3D 数据集上使用遮罩自编码器对其视觉编码器进行预训练，评估了其在虚拟机器人操作任务中的性能并展示了超过基线的改进，同时在实际机器人平台上也取得了令人期待的结果。

    Jun, 2024

  • 关于视觉 - 动作预训练数据集的客观观察

    通过对机器人的预训练数据集进行集中分析，我们发现常规视觉数据集对于视觉 - 运动表示学习是竞争力强的选择，此外，预训练数据集的图像分布比其规模更为重要，同时简单的正规化策略可以显著改善真实世界策略学习。

    Oct, 2023

  • 预训练视觉表示对稳健操控的成功因素

    通过对 15 个预训练视觉模型的性能比较，发现视觉出现分割能力是 ViT 模型在分布偏移下的强预测因子。在十个任务中进行广泛测试后，分割分数在离线训练和 50 次演示后预测了真实世界的性能。

    Nov, 2023

  • EVA: 探索规模下遮蔽式视觉表征学习的极限

    我们在这篇论文中提出了 EVA，这是一种基于视觉的基础模型，能够大规模地探索视觉表征的极限，并且只使用公开可用的数据。通过解决预先设定的任务，我们可以有效地将 EVA 扩展到 10 亿个参数，并在诸如图像识别、视频动作识别、目标检测、实例分割和语义分割等广泛的代表性视觉下游任务上创造新的记录，而无需进行大量的监督式训练。

    Nov, 2022

  • 面具视觉预训练用于运动控制

    本文表明，来自真实世界图像的自监督视觉预训练对于从像素学习运动控制任务是有效的；为了加快像素学习的进展，本文还贡献了一套手工设计的基准任务，其中包括运动、场景和机器人等方面的变化。通过防冻度量的视觉编码器和强化学习，我们实现了与带标签、状态估计或专家演示相比高达 80% 的绝对成功率，有时甚至能与理论最好状态匹敌；还发现，来自 YouTube 或自我中心视频等野外图像，对于各种操作任务的视觉表现比 ImageNet 图像更好。

    Mar, 2022

  • 预训练视觉模型对控制的有效性不足为奇

    研究表明，预训练的视觉表示方法对于控制任务的学习同样有效，甚至在某些情况下可以优于基于真实状态的表示方法，而这些预训练模型仅需要使用标准视觉数据集，而不需要在目标环境中使用真实数据。

    Mar, 2022

  • 大规模预训练模型是否可帮助视觉模型完成感知任务？

    本文提出一种新的学习范式，通过利用提前训练的大型模型来增强传统视觉模型的表示能力，并在多个视觉模型中验证了该算法的有效性，可以提高图像分类等任务的准确性。

    Jun, 2023