Jul, 2023

用语言学习建模世界

TL;DR为了与人类进行互动,代理机构需要理解人们使用的各种语言类型,将其与视觉世界联系起来,并根据这些语言进行行动。本文提出了 Dynalang,这是一种代理机构,它学习了一个多模态世界模型,预测未来的文本和图像表示,并学会根据想象的模型展开行动。与传统代理机构只使用语言预测行动不同,Dynalang 通过使用过去的语言预测未来的语言、视频和奖励,获得了丰富的语言理解能力。