本研究提出了 T3：可传输触觉变压器，这是一个能够在多个传感器和多个任务之间进行扩展的触觉表示学习框架。T3 通过构建共享的主干变压器与传感器特定的编码器和任务特定的解码器来捕捉不同传感器任务对之间的共享潜在信息。使用 FoTa 数据集进行的预训练表明，T3 在某些传感器 - 任务对之间实现了零 - shot 可传输性，并且可以通过少量特定领域数据进行进一步微调，而且其性能随着网络规模的增大而扩展。T3 还作为长时间接触丰富型操纵的触觉编码器具有很好的效果。

Jun, 2024

本次研究对变压器模型在计算机视觉方面的应用进行了全面的回顾，包括自我关注、大规模预训练和双向编码等基础概念及其在图像分类、视频处理等多个领域的广泛应用。研究比较了不同技术在架构设计及实验价值方面的优缺点，并提出了未来的研究方向。

Jan, 2021

本文通过详细调查从 2017 至 2022 年间提出的 Transformer 模型，分析了其在自然语言处理、计算机视觉、多模态、音频和语音处理以及信号处理等领域中的应用及其对应的任务，并提供了一种分类法，以期为进一步研究及其未来的应用提供参考。

Jun, 2023

本文回顾了将 Transformer 应用于计算机视觉任务中的视觉 Transformer 模型，并分为不同任务类别，分析它们的优点和缺点，同时也介绍了将 Transformer 应用到实际设备应用的有效方法。最后，本文还探讨了计算机视觉中的自注意机制以及视觉 Transformer 面临的挑战及进一步研究方向。

Dec, 2020

本文通过在机器人装备视觉和触觉传感器，收集大规模视觉和触觉图像序列数据，使用条件对抗式模型，实现视觉和触觉的交叉连接，来合成视觉数据和触觉信号，并想象人与物体的互动。

Jun, 2019

本文综述了各种 X-formers，包括 Transformer 的变体，提出了一个新的分类法并从结构修改、预训练和应用三个方面介绍了各种 X-formers，并提出了未来研究的一些潜在方向。

Jun, 2021

本文综述了 transformers 在语音技术各领域中的应用，旨在为研究者提供宝贵的资源，提供解决 transformers 在语音处理中面临的挑战的可行方法。

Mar, 2023

本文中，我们提出了一种深度触觉模型预测的方法，结合高分辨率触觉传感器，通过无监督自主交互生成模型以从原始触觉传感器输入进行学习，并将学习到的模型用于将物体重新定位到用户指定的配置，从而实现非握持操作的触觉控制。

Mar, 2019

通过使用触觉传感器而无需依赖视觉信息，我们介绍了一个多指机器人系统，用于搜索和操纵随机位置的目标物体，并在模拟环境中训练和转移政策，证明了使用触觉传感器进行物体搜索和操纵任务的可行性，以实现赋予机器人类似人类触觉能力的目标。

Jan, 2024

利用连续触觉信号进行动作分类的一项主要应用是医疗保健和机器人技术，然而，现有的触觉分类方法未能同时捕捉触觉信号的空间和时间特征，从而导致性能不佳。本文设计了一种名为 Spatio-Temporal Aware tactility Transformer (STAT) 的模型，利用连续触觉信号进行动作分类，通过在模型中引入空间和时间嵌入以及新的时间预训练任务，旨在增强变压器对触觉信号的空间和时间特征建模能力。实验结果表明，在公共动作分类数据集上，我们的模型在所有评估指标上优于现有的方法。

Jan, 2024