- 基于通用表征的微调网络解决未知认知任务
微调预训练语言模型在广泛的任务上展现出有希望的结果，但面对新任务时，它们更依赖于通用的预训练表示还是开发全新的任务特定解决方案？我们在一个与模型相关且来自神经科学文献的情境依赖决策任务上微调了 GPT-2，并将其性能和内部机制与从头开始训练 - 离线到在线强化学习中的任务泛化集成后继代表
使用离线数据集构建继任者表示法和集成 Q 函数的方法，以实现从离线到在线学习的任务泛化和快速适应新任务。
- ACL通过多指令训练教授一种多语言的大型语言模型理解多语言语音
利用多语言语言模型与多语言语音编码器，本研究提出 BLOOMZMMS，旨在为语音识别及其它领域利用大型语言模型的能力。通过多指令训练方法，我们验证了从文本到语音模态的语言知识的可传递性。实验证明，可以有效地学习并使多语言语音表征与多语言语言 - ChatCell：以自然语言促进单细胞分析
通过 ChatCell，我们实现了单细胞分析的自然语言化，为解决单细胞数据的知识壁垒和可扩展性的挑战提供了新的范式，进一步深化了单细胞领域的洞察力，为更加易于访问和直观的探索铺平了道路。
- ICLR通过迭代能量最小化进行序列模型规划
本研究提出了一种将规划与序列模型相结合的方法，基于迭代能量最小化的思路，通过训练掩盖语言模型以捕捉动作轨迹的隐式能量函数，并将规划形式化为最小化能量的轨迹，实现了在不同任务上改进强化学习性能，并证明了通过迭代优化程序能够实现新的任务泛化、测 - 从任务说明中学习的鲁棒性
本研究探讨了新任务指令被恶意篡改、改写或来自不同书面表达程度时，基于预训练语言模型的监督系统的稳健性。
- 多任务微调实现跨语言通用化
研究发现多任务 finetuning 可以帮助大型多语言模型成功推广至非英语任务中，并且使用机器翻译英文为前缀可以获得更好的性能，最终实现零 - shot 的结果。
- EMNLP使用未标记数据学习指令，以实现零样本跨任务泛化
本文提出了 Unlabeled Data Augmented Instruction Tuning (UDIT) 算法，通过使用未标注的文本数据构建伪标注数据，以更好地利用指令来提高指令微调的性能，实验结果表明 UDIT 在不同场景下都具有 - CIKQA：一种基于知识循环的统一问答方法学习常识推理
本文提倡将 commonsense knowledge acquisition 和 inference over commonsense knowledge 视为两个不同的任务，通过人类标注的方式评估模型的 commonsense infe - 看、规划、预测：语言引导的视频预测认知规划
通过自然语言引导视频预测，我们提出了一种新的视觉预测结构，使得计算机可以通过语言输入来分解高级任务计划，并且使用预先训练好的 transformers 使得模型具有一定的任务泛化能力，实验表明，这种结构相对于不具有任务规划或动作引导的基线模 - 软提示检索增强零样本任务泛化能力
本文探索了通过提示调整获得的软提示如何在零样本推理中协助硬提示，以实现任务泛化。结果表明，此简单方法仅增加了 0.007％的额外参数，但在大型基准测试上提高了 2.39％的平均准确率，对不同评估提示的准确性和鲁棒性有更好的排名。
- ICLR多任务自监督图神经网络实现更强的任务泛化
该研究介绍了一种名为 PARETOGNN 的自监督多任务学习框架，利用多个不同的哲学观点的预文本任务监督自我学习，从而在进行节点表示学习和其他后续任务时产生最佳绩效。
- 通过统一模式提示来提高任务泛化能力
该研究提出了一种名为 Unified Schema Prompt 的灵活可扩展的提示方法，通过利用每个任务的输入结构来自动自定义学习提示，以增强任务的泛化能力，并在一系列 NLP 任务中进行了实验验证。
- ECCV为少样本学习设计的实例和任务感知动态核学习
本论文提出了一种动态卷积神经网络模型，能够通过每个任务的动态内核快速适应于给定任务的情境，并以整体和每个样本的基础上依独立地进一步调整每个通道和位置的注意力机制，从而能够同时关注全局信息和细微的特征并提高 Few-Shot Learning - 使用自监督的世界模型进行规程泛化
在本文中，我们评估了 MuZero 代理在程序化和任务通用性方面的性能，并通过比较自由模型代理，确定了模型代理的泛化能力。我们发现，计划、自监督表示学习和程序数据多样性是程序化通用性的三个因素，并表明结合这些技术可以实现出色的通用性性能和数 - ICLR向人类请教：利用人类指令提升强化学习的泛化能力
本文提出通过使用自然语言指令和行动轨迹演示来自动分解分层任务，以解决在稀疏奖励的强化学习设置中的复杂多任务问题，并证明人类演示有助于解决最复杂的任务，同时允许该模型再未见数据的情况下推广学习，从而使训练好的代理人具有可解释的行为。
- 面向转移强化学习的通用继承表示
研究转移强化学习中普适继承表示的使用，证明其在任务泛化和知识传输方面具有效用，并通过 USRA 的初始化使智能体更快地实现目标。