Jan, 2024

GATS: 聚集-关注-散开

TL;DR我们介绍了Gather-Attend-Scatter(GATS),这是一种新的模块,它使得可以将预训练的基础模型(可训练和冻结的)无缝组合成更大的多模态网络,GATS赋予AI系统能力,可以以不同速率处理和生成来自多个模态的信息。与传统的微调不同,GATS允许原始组件模型保持冻结,以避免它们在预训练阶段获得的重要知识丧失的风险。我们通过在游戏,机器人和多模态输入输出系统中进行几个实验,展示了GATS的实用性和多功能性。