ICLRDec, 2022
自编码器作为跨模态的教师:预训练的二维图像变换器是否能帮助三维表示学习?
Autoencoders as Cross-Modal Teachers: Can Pretrained 2D Image Transformers Help 3D Representation Learning?
Runpei Dong, Zekun Qi, Linfeng Zhang, Junbo Zhang, Jianjian Sun...
TL;DR本研究使用自监督学习从 2D 图像和自然语言预训练 Transformers 的潜在特征教授 3D 表示学习,进一步促进了跨模态的知识转移和基础几何理解,实现了在各种现有测试中的最先进泛化能力。