介绍了自适应技能（ASAP）框架，它能够学习技能和如何应用技能，并能够通过适应其中应用现有学习技能的位置来解决相关新任务，同时证明了其在自然条件下收敛到局部最优解的能力，相关的RoboCup实验也表明了它学习如何重复利用技能以及用比每个任务都从头解决消耗的经验更少的能力来解决多个任务。

Feb, 2016

该研究提出了一种可微分的框架，能够学习一种称之为技能的简单策略的广泛组合。通过不断地递归地将技能与自身组合，我们可以创建表现出复杂行为的层次结构。实验结果表明，该架构可以快速从简单技能中构建复杂技能，并对看似没有联系的技能组合进行零Shot泛化。

Nov, 2017

提出了一种基于多目标奖励函数的神经网络架构搜索框架 MONAS，可以用来优化神经网络预测准确率，同时满足功耗等其他重要目标。实验结果表明，与现有技术相比，使用MONAS找到的模型可以在计算机视觉应用中获得相当或更好的分类准确性，同时满足功耗等其他重要目标。

Jun, 2018

我们研究了卷积神经网络在连续学习环境中的行为，通常是按顺序引入视觉分类任务并要求网络在掌握以前学习的任务的同时掌握新任务。我们发现，在涉及十个相关视觉任务的模拟中，前向促进随着n的增加而增加，而向后干涉则随n的增加而减少。这可以通过更广泛地接触某一领域来实现元学习的研究目标，并通过减少灾难性遗忘的研究来实现。

May, 2019

本文提出了两种轻量级的神经架构搜索算法，并将NAS问题转化为多智能体问题以提高计算效率，理论上证明了O(sqrt (T))的消失后悔率，实验结果在多个数据集和网络配置上表现优异，其中包括随机搜索。

Sep, 2019

通过模块化设计并学习潜在的离散技能，该研究在多任务强化学习和少样本学习中实现了更高的样本效率和解释性。

Feb, 2022

本论文介绍了一种名为神经注意力电路（NACs）的神经网络模型，它是一种通用但模块化的网络体系结构，可同时学习神经模块的参数化和稀疏连接，其在不同数据模态下具有优秀的性能表现，并已在不同领域展示出模块划分的表现。

Oct, 2022

该研究探索了语义技能的零-shot适应能力，在跨领域环境中，在交织的多模态片段中，通过用户输入可触发不同领域的新的远程任务。通过语义技能翻译框架SemTra，该框架利用一组多模态模型从片段中提取技能，并利用预训练语言模型的推理能力将这些提取的技能适应到目标领域。框架通过任务适应和技能适应的两级层次结构进行适应。在任务适应过程中，语言模型将提取的技能转化为适合跨领域上下文的语义技能序列。技能适应通过语言提示和对比学习的上下文推断来优化每个语义技能，以适应目标领域的上下文。这种层次适应使得该框架不仅能够从交织的多模态片段中一次性推断出复杂任务规范，还能够通过零-shot学习能力将其适应到新的领域中。我们在Meta-World、Franka Kitchen、RLBench和CARLA环境中评估了我们的框架。结果表明，该框架在执行长期任务和适应不同领域方面具有优势，展示了其在解释抽象指令的认知机器人和在不同配置下操作的自主车辆等实际应用案例中的广泛适用性。

Feb, 2024

通过利用可解释性人工智能系统在专家的指导下训练新手可以替代传统学习系统，从而传授隐性知识并调节学习者的认知风格，为人工智能开发者提供未来定制(T)XAI-based学习系统的设计方案。

Jun, 2024

通过指令调优的方式，利用大型语言模型(Large language models, LLMs)能够解决各种普适任务，然而，指令调优仍过于依赖大量任务数据的实例训练，这严重限制了LLMs在实际场景中对标记任务实例稀缺和广泛任务泛化的适应能力。为了解决实例训练的缺点，本文致力于模拟人类学习，注重指令学习以增强跨任务泛化。在此背景下，我们引入了基于给定任务指令的参数生成方式，自动构建特定任务模型的任务适配器生成(TASK Adapters Generation from Instructions, TAGI)，无需为每个新任务重新训练。具体而言，我们利用知识蒸馏来增强TAGI通过指令学习而开发的模型与通过实例训练而开发的任务特定模型之间的一致性，通过对齐标签、输出逻辑和适配器参数来实现。TAGI通过两阶段的训练过程，包括超网络预训练和微调，赋予了跨任务泛化能力。我们在Super-Natural Instructions和P3数据集上评估了TAGI，实验结果表明，TAGI能够与传统的元训练模型和其他超网络模型相媲美，同时显著减少计算要求。

Jun, 2024