Jun, 2024
可传递的触觉变压器：多种传感器和任务的表示学习
Transferable Tactile Transformers for Representation Learning Across Diverse Sensors and Tasks
Jialiang Zhao, Yuxiang Ma, Lirui Wang, Edward H. Adelson
TL;DR本研究提出了 T3：可传输触觉变压器，这是一个能够在多个传感器和多个任务之间进行扩展的触觉表示学习框架。T3 通过构建共享的主干变压器与传感器特定的编码器和任务特定的解码器来捕捉不同传感器任务对之间的共享潜在信息。使用 FoTa 数据集进行的预训练表明，T3 在某些传感器 - 任务对之间实现了零 - shot 可传输性，并且可以通过少量特定领域数据进行进一步微调，而且其性能随着网络规模的增大而扩展。T3 还作为长时间接触丰富型操纵的触觉编码器具有很好的效果。