- 探究上下文学习的预训练动态:任务识别与任务学习
利用预先训练的先验知识,通过任务识别和任务学习两种能力的竞争来促进上下文学习的出现,并提出了一种简单而有效的方法,在推理时间内更好地整合这两种能力。通过自适应集成学习,可以显著提高上下文学习的性能,使两个小模型的性能超过具有两倍参数的大模型 - 修正上下文学习中的演示快捷方式
大型语言模型通过它们的上下文学习能力能够只使用几个示例来解决各种任务。然而,LLMs 通常依赖于它们预先训练的演示案例的语义先验知识而不是依靠输入 - 标签关系来进行上下文学习预测。本研究有意解决这个现象,引入了一种称为 “演示捷径” 的现 - 上下文学习的双重操作模式
通过引入概率模型,我们对上下文学习的双重工作模式进行了解释,并分析了线性函数的上下文学习行为,展示了一种可能的解释,即通过更多的上下文示例,任务学习将产生作用并减少风险。
- EMNLP零射语言代理用于带有结构反射的计算机控制
通过自反思和结构化思考管理,我们的零 - shot 代理在简单的 MiniWoB++ 任务中表现出更高效的推理能力,并且在复杂的任务中能够与之前的最佳模型相媲美,尽管之前的研究可以访问专家示例或额外的屏幕信息。
- 使用 GPT 从对话中交互学习分层任务
使用对话作为交互前端的 GPT 模型,学习可解释、符号化的任务,并将其表示为具有作用域变量参数的谓词 - 论元结构的分层分解,从而使得分层任务知识得以在自然、自由的对话环境中被获得和重用。
- ACL关于上下文学习的内容:“学习” 上下文中的任务识别和任务学习的区别
本研究探讨了大型语言模型利用情境学习来解决只有少量演示的任务的机制,发现情境学习从两个方面发挥作用:任务识别和任务学习,具有不同的性质和特点。
- 连续学习的独家超蒙版子网络训练
通过 exclusive subnetwork training 和 KNN-based knowledge transfer 方法,我们提出了 ExSSNeT 模型,避免遗忘同时实现新任务的快速学习和知识转移,在文本分类和视觉任务中得到了 - 整合多样知识源进行在线一次性学习新任务
研究使用多种知识源在 Soar 认知结构下开发智能体,探讨不同知识源对一次性学习新任务的作用。测试结果表明,混合不同知识源可以提高智能体的学习效率,减少人类反馈。
- 持续剪枝和选择:以专业子网络进行增量式分类学习
研究人类大脑能够通过 Continual-Prune-and-Select (CP&S) 的 subnetwork 选择策略,在不产生灾难性遗忘并能跨 subnetworks 传递知识的情况下,使 DNN 顺序学习十项任务且准确率在 94% - 演示一次,即刻模仿(DOME):学习视觉伺服用于一次性模仿学习
DOME 是一种新的一次性模仿学习方法,使用图像条件的对象分割网络和学习的视觉伺服网络进行任务学习,并在对象构型和干扰器方面表现良好,可以在七个真实世界的日常任务中实现近乎 100% 的成功率。
- 走向开放领域对话学习
本文提出修改对话系统,使其能够学习的方法,并讨论了如何从对话中提取知识、更新代理的语义网络并以行动和观察为基础。希望引起人们对该领域的关注,并成为未来研究的重点。
- ACL基于统一变形器和自监控的语言指令分层任务学习
本文提出一个名称为 HiTUT 的模型,将任务学习分解成三个子问题:子目标规划、场景导航和物体操作,并统一解决了每个子问题,以学习分层任务结构。在 ALFRED 基准测试中,HiTUT 表现出最好的性能和更高的泛化能力。
- 面向终身共享自治的情境信心辅助
共享自主能力使机器人能够推断用户的意图并协助完成任务。然而,当用户想要完成机器人不了解的新任务时,共享自主将阻碍其性能。本文提出机器人可以检测到其意图表述能力的不足并将控制权交还给用户来实现任务,从而使机器人能够进行无阻碍的任务执行并学习到 - COLING面向设备的自然语言理解的极致模型压缩
本文提出了针对神经自然语言理解模型的极端压缩技术,并在资源受限设备上进行了实验。在任务知晓的全流程压缩方法中,我们将词嵌入压缩与 NLU 任务学习相结合,经大规模商业 NU 系统测试,实现了 97.4% 的压缩率,同时预测性能下降不到 3. - 学习保证安全:带安全评论家的深度强化学习
为了将 RL 算法部署到实际场景中并在学习过程中确保安全性,我们提出了使用转移学习方法学习在一个任务环境中如何保持安全性,然后将所学用于约束在学习新任务时的行为,此方法在三个具有挑战性的领域中实证,相比于标准的深度 RL 技术和以前的安全 - full-FORCE:一种基于目标的循环神经网络训练方法
采用目标驱动的方法修改全连接神经网络的连接矩阵,增强神经网络对于时间复杂的输入输出变换执行任务的能力。添加输入信号作为任务提示,可进一步扩展任务的种类。方法能够使网络的噪声鲁棒性增强。