- 关于组合性和递增学习的二阶视角
对深度预训练模型进行微调最近揭示了其具有组合特性能力，从而使得多个专门模块能任意组合成一个多任务模型。本文通过对损失函数的二阶泰勒近似方法进行理论研究，试图揭示标准非线性网络中组合特性的奥秘，强调了处于预训练盆地内对于实现可组合模块的重要性 - VimTS：用于增强跨领域泛化能力的统一视频和图像文本识别器
通过集成多任务模型、合成视频文本数据集和学习时序信息，VimTS 模型在跨领域场景文本检测任务中展现出卓越的性能，并且相较于现有的大型多模态模型，所需参数和数据更为少。
- 自述恶霸：情感辅助的网络欺凌检测及解释
通过开发首个可解释模型 mExCB，基于混合编码语言的 BullyExplain 数据集，自动检测网络欺凌并辨识解释、目标群体以及情感分析，超越多个基准模型和现有模型的综合任务框架。
- 基于具体子空间学习的多任务模型融合中干扰消除
提出了一种基于低维共享的 CONcrete 子空间学习方法来解决合并模型中的潜在冲突问题，并通过元学习框架以及梯度优化技术来找到 CONcrete 子空间掩码。通过在视觉和语言领域进行广泛实验，实验结果验证了方法的有效性。
- 有效且参数优化的复用微调模型
提出了针对使用多个经过精调的特定任务模型的参数高效重用方法 PERU。通过稀疏任务向量注入到合并模型中，通过截断幅值来创造 PERU-FFT，以重用完全精调的模型。通过奇异值分解来近似 LoRA 矩阵，提出了使用低秩矩阵重用 LoRA 精调 - 实时通用多任务的一次全部观察
自主驾驶的关键要求是高精度、轻量化和实时响应，本文提出了一种自适应、实时和轻量化的多任务模型，能够同时处理目标检测、行驶区域分割和车道检测任务，并且无需特定定制结构或损失函数。该模型在 BDD100k 数据集上取得了竞争性的结果，尤其在可视 - MuraNet：关系注意力的多任务平面图识别
MuraNet 是一种面向平面图数据中分割和检测任务的注意力多任务模型，通过统一编码器和分离的分割解码器分支以及基于 YOLOX 的独立检测头支路，提高了特征提取和相关任务的准确性和效率。
- ICCV高效可控多任务架构
我们提出了一种多任务模型，使得用户可以在部署后调整所需的计算预算和任务性能的相对重要性，无需重新训练。这使得能够为动态变化的用户需求优化性能，而无需为各种情况训练和保存模型造成沉重的计算开销。
- ICCVUni-NLX: 统一视觉和视觉语言任务的文本解释
提出了 Uni-NLX，一个统一的框架，将所有自然语言解释任务整合到一个紧凑的多任务模型中，使用文本生成的统一训练目标。引入了两个新的 NLE 数据集：ImageNetX，一个包含 144K 个样本的数据集，用于解释 ImageNet 分类 - 一种新型多任务模型模仿皮肤科医生在临床图像中进行准确的皮肤病差异诊断
提出了一种名为 DermImitFormer 的多任务模型，通过模仿皮肤科医生的诊断程序和策略，解决了现有方法忽略皮肤疾病诊断所需基本领域知识的问题，并同时预测身体部位、皮损属性以及疾病本身，从而提高诊断准确性和可解释性。
- ACLCL-UZH 参加 SemEval-2023 任务 10：通过标签描述的增量微调和多任务学习检测性别歧视
本文介绍了一个用于在线性别歧视检测的多任务模型，该模型通过对各种相关任务和数据集进行微调，然后在具体任务上进行微调，通过将每个任务形式化为二进制成对文本分类来实现多任务学习，结果相对于使用 DeBERTa-V3 fine-tuned 作为基 - 增强对多任务模型的对抗攻击之动态梯度平衡
本文研究多任务学习中的单任务机器学习攻击，提出了基于平均相对损失变化的动态梯度平衡攻击方法（DGBA），并在两个流行的多任务学习基准测试库上进行了广泛评估。结果显示参数共享会提高任务准确性，但对提高模型健壮性有贡献。
- SegViz：基于联邦学习的多器官分割框架，用于具有部分注释的异构数据集
提出一个基于联邦学习的框架 SegViz，此框架可从分布式的带有部分标注的数据集中训练出一个分割模型，并且在外部测试集的表现要显著优于其他基准模型和基于中央聚合的模型。
- Go-tuning：提高较小语言模型的零样本学习能力
本文探讨如何在较小模型的规模下，通过几何引导的自监督学习方法进行任务感知的自监督数据调整，实现与大型语言模型相当的零样本能力。Go-tuning 方法的实验表明 T5-small（80M）能够达到 T5-XL（3B）的竞争零样本结果，并开发 - 通过控制无关句的混淆效应来提高抽象摘要的忠实度
本文研究了文本自动摘要中的事实正确性问题，提出了减少混淆因素的多任务模型，并且实现了在 AnswerSumm 数据集上准确性和信实度均有提升。
- 跨语言情感分析的多任务学习
本研究使用零样本和小样本学习进行跨语言情感分析。采用三种语言的 BERT-based 模型进行语种间的情感分类，提出了一种简单多任务模型。通过单任务和多任务实验的零样本和小样本场景对克罗地亚言和斯洛文尼亚情感分析进行评估。
- 流式联合语音识别和语调异常检测
本研究通过基于 Transformer 框架的编码器 - 解码器模型提出了一种联合解决语音识别和流式识别中断相关的自然语言分析难题的方法，将其与传统的流水线工艺相比较，表现出更优异的准确性和实时性。
- MMICT 供应链的大型表格数据处理：多任务、机器可解释性方法
提出了一种基于图的表格结构识别（TSR）任务和表格单元格类型分类（CTC）任务的多任务模型，通过使用文本模态和图像模态特征来同时解决这两个任务，旨在将电子文档中的表格数据转化为可机读格式，并为信息提取和解释提供布局和语义信息。实验结果表明， - 在低数据设置中利用粗粒度数据进行事件提取
本文研究了使用粗粒度数据（文档或句子标签）替代对文档进行标注以进行事件信息提取的可行性，证明了使用多任务模型和二元分类等技术，即使只增加对没有事件信息的负面文档的标注也能提高提取性能。
- ICML 2022 表达性语音化工作坊和赛事：识别、生成和个性化语音爆发
本文介绍了 ICML Expressive Vocalization (ExVo) 比赛，涵盖三个竞赛项目，利用大规模数据集进行基于多任务模型、生成模型和少样本学习的声音情绪识别。使用最先进的机器学习策略，提供各种竞赛项目的基本性能评估。