- 强化学习设置中的专家混合模型
以增加参数计数、减少休眠神经元为特点的协同专家模型在深度强化学习中显著提升性能，通过多任务训练模拟非稳态性的扩大，进一步增强学习能力，并探索最佳使用戏剧评论理论网络中的协同专家组件的方法。
- 通过提问实现三维视觉与语言理解的统一化
通过统一各种三维场景表示方法，使用可提示的查询（Promptable Queries）解决低级实例分割至高级推理与规划等广泛的三维视觉语言任务的统一模型（PQ3D）。在十个多样化的三维视觉语言数据集上进行测试，PQ3D 在这些任务中表现出令 - 通过基于提示的定位在统一框架中重新思考三维密集字幕和视觉对齐
3DGCTR 是一个统一的框架，通过重新考虑 3DVG 模型的基于提示的定位能力，将轻量级字幕头集成到现有的 3DVG 网络中，通过提取提示中的定位信息，有效地提升了 3DDC 的能力，实现了同时进行多任务训练，互相增强性能。
- CATSE: 一种用于因果目标声音提取的上下文感知框架
目标声音提取（TSE）侧重于从输入混音中分离用户提示的感兴趣源的问题。本文介绍了一种适用于实时处理的上下文感知低延迟因果 TSE 模型，并探索了使用上下文信息的效用，既可通过提供完整上下文信息，也可通过提出的多任务训练损失来实现，从而证明我 - 离线演员 - 评论家强化学习在大规模模型中的扩展
离线演员 - 评论家强化学习能够扩展到大规模模型（如变压器）并遵循监督学习的相似扩展规律。我们发现，离线演员 - 评论家算法在 132 个连续控制任务的大型数据集上的多任务训练中，能够优于强大的监督式行为克隆基线。我们引入了一种基于感知机的 - UniIR: 训练和基准测试通用多模态信息检索器
对于信息检索 (IR) 模型通常假设为同质化格式，限制了其适用于各种用户需求，如使用文本描述搜索图片，使用标题图搜索新闻文章或使用查询图搜索相似照片。为了满足这种不同的信息需求，我们引入了 UniIR，一种统一的指令引导多模态检索器，可以处 - EMNLP多任务学习下多头注意力中的功能专业化解释与利用
通过对 Transformer 模型的多头注意力机制进行解释和多任务训练，提出功能专门化的方法来改善模型性能。实验证明多头注意力在多任务训练后会发展功能专门化现象，并且这种训练策略能够提高多任务学习和迁移学习的性能，而不增加任何参数。
- 大型语言模型的命名实体上下文偏置
该研究探讨了大型语言模型（LLMs）中的上下文偏置，其中在二次通过重新评分期间，提供了额外的上下文信息以提升自动语音识别（ASR）性能。研究提议在重新评分期间利用提示方式对 LLM 进行偏置，其中包括偏置列表和少量示例，以作为计算假设得分时 - 统一表示与多源学习实现的少样本数据生成文本
我们提出了一种新颖的结构化数据到文本生成方法，旨在改善多任务训练、零样本和少样本情况下的性能，并提供可以处理各种形式的结构化数据的统一表示，例如表格、知识图谱三元组和意义表示。我们证明了我们提出的方法可以有效适应新的结构化形式，并在性能上优 - 使用参数组合框架的高效多任务与迁移强化学习
本研究探讨了改进多任务训练以及在强化学习环境中的传递的潜力，提出了一种参数组合的方法来处理这一挑战，并通过在不同的操作任务上进行传递实验以证明其有效性。
- Open-Domain 会话系统中内存管理的轻松集成
该研究提出了一种简单的方法，通过将记忆管理能力集成到 BlenderBot3 中，并使用自动数据集创建方法来改进 open-domain conversation systems。实验结果表明，多任务培训的 BlenderBot3-M^3 - 利用开放信息抽取提升少样本触发器检测的领域迁移能力
本研究提出了通过 open information extraction （OIE）系统所获取的主客体关系将触发器耦合在不同领域之间从而增强域迁移的性能，并在目标领域上使用 OIE 系统最后结合掩盖语言建模技术来降低负迁移。
- ACL蒸馏逐步！用更少的训练数据和更小的模型尺寸胜过更大的语言模型
本文介绍一种名为 “Distilling step-by-step” 的新机制，该机制通过在多任务训练框架内提取 LLM rationales 作为小型模型的附加监督来训练比 LLM 更小且表现更好的模型，并且使用远少于 finetunin - 面向无摩擦极端多任务学习和评估的结构化数据集预处理注释
提出一种结构化注释框架和数据集注释，预处理语言模型训练和评估过程中的数据集以实现多任务训练或评估。通过该框架和注释，达到了减少预处理时间和提高效率的目的，并在所有任务中微调多任务文本编码器，表现出色。
- OFASys：用于构建通用模型的多模态多任务学习系统
本研究提出了 OFASys 系统，它使用一种多模态指令来定义任务，并自动生成任务计划以支持各种多模态工作负载的多任务训练。该系统的单个模型 OFA + 可以处理文本、图像、语音、视频和运动数据，且只需要 15 个任务微调模型的 16% 的参 - SciRepEval：科学文档表示的多格式基准
本文介绍了 SciRepEval，第一个全面评估科学文档表示方法的基准测试，可用于分类、回归、排名和搜索等多项任务，研究表明最新模型普遍存在跨任务格式泛化能力差的问题，但学习每个文档的多个嵌入以针对不同格式得到改善，实验发现多任务设置下的任 - 利用自监督帧嵌入实现高效语音质量评估
本文提出了一种以帧特征为基础，采用时间依赖建模的自动语音质量评估系统，相较之下与其它表现最佳的模型相比，该系统参数更少（约 40-60 倍）、计算量更少（约 100 倍）、内存消耗更少（约 10-15 倍）且延迟更低（约 30 倍），并且发 - 情感梯度下的细粒度情感释义
提出一种新的基于感情梯度的细粒度情感改写任务，通过 fine-tuning 文本到文本的转换器进行多任务训练，对输入和目标文本进行细粒度情感标注，评估结果表明，将情感标签纳入改写任务可以显著提高获取所期望情感的高质量改写的几率，并在多个改写 - EMNLPMOCHA：基于认知角度的一种多任务训练方法，用于一致文本生成
本研究提出一种基于认知写作理论的新型多任务训练策略，为神经模型生成连贯文本提供辅助技能。在三个开放式生成任务中进行了广泛的评估，实验表明我们的模型在有限标注数据和全监督设置下都优于强基线模型，并且经过人工评价，显示我们的模型能够生成更加连贯 - 基于部首先验的自然场景中的汉字识别
本文介绍了一种基于偏旁部首的汉字表示方法，并使用多任务学习和监督训练来提高该方法在中文场景文本识别上的性能， 实现了在六个中文数据集上的优异表现。