在人类历史的前史时期，视觉传达早于书面语言，并为它提供了基础。本文探讨了一种基于深度神经网络的视觉交流渠道，通过简单的笔画达到学习和协同解决任务的目的，并在指称交际游戏中展示了其成功应用。
Jun, 2021
提出了一种名为 EC^2 的新颖方案，用于预训练视频语言表示以进行 few-shot embodied control，通过紧密结合视频细节的语义和自然语言结构的紧密联系，实现了代理在新环境中快速行动的目标。该方法在 Metaworld 和 Franka Kitchen 的实验基准中表现了显着的优势，超过了以前的对比学习方法的表现。此外，对提出的联合建模方法进行了定量和定性分析，并讨论了未来的研究方向。
Apr, 2023
本文提出了一种基于知识的具身问答 (Knowledge-based Embodied Question Answering, K-EQA) 任务，其中智能体通过利用知识来探索环境以回答各种问题。为解决这一问题，本文提出了一种基于神经程序合成推理的新框架，同时进行外部知识和 3D 场景图的联合推理，以实现导航和问答。实验结果表明，该框架能够在具身环境中回答更加复杂和现实的问题，并且该方法也适用于多智能体场景。
Sep, 2021
发展人机互动中准确使用自然语言的机器，重要性愈发突显。本文回顾了近年来涉及新兴交流（Emergent communication）的文献，分析了其公共特性、两个子类别和挑战，并强调了多元视角和专业知识在领域中的重要性，主张研究者们共同努力以寻找共同问题的多种解决方案，加深对人类交流的理解，从而发展出更能准确使用自然语言的机器。
Aug, 2023
本研究提出了第一个旨在解决 Pictionary 问题的计算模型，基于给定的草图序列，引入了 Sketch-QA 任务，使用固定的问题和获取开放式的语言形式的猜测单词，并通过深度神经模型在时间上反应人类绘制的草图序列，从而在 Pictionary 风格的猜测中生成类似于人类的错误词汇，该模型可用于类似的游戏，并对模型进行了比较和实验验证。
Jan, 2018
该论文提出了一种基于视觉故事的两阶段框架，用于生成启发性问题，经人工评估，其产生的问题比其他基线模型更容易引起交流，成为理想的交流启动器。
May, 2022
本论文通过介绍一个协作的多物体导航任务 CoMON，并研究不同通信机制，分析它们的通信模式，证明了学习出来的通信可以落实于 Agent 观察和环境的 3D 结构。
Oct, 2021
本研究探讨在多智能体环境中，利用关节执行通信的新型通信模式，解决现有符号通信模式不能够解决的一些问题，提出具体的训练改进方案，实现了对新伙伴的协议推广。
Oct, 2020
我们设计了一个 AI 系统，它作为一个沟通桥梁连接两个具有不同心理模型和词汇的用户社区。我们采用参与式设计的方式，提取 AskJill 的需求，作为一个问答代理，解释 Skillsync 的工作原理，实现公司和大学用户之间的沟通桥梁。研究结果表明，参与式设计对指导需求收集和获取用户问题，开发 AskJill 非常有用。同时，研究结果还显示，Skillsync 的两个用户社区认为共享词汇是 AskJill 需要提供的关键特性，并能从中受益。
本文提出了一种基于信息瓶颈的无监督方法，用于探索非常稀疏的多智能体增强学习中的社交通信情境，该方法可以捕捉引用复杂性和任务特定效用，并开发出一种自然语言灵感的信息组成的词汇表，该词汇表独立于一组紧急概念，使其具有极小的位数，同时可以使用社交影子的观测构成，并通过社交影子来学习通信策略。
Feb, 2023