显著性正则化深度多任务学习
通过引入稀疏的、可重用的、灵活的策略 Sparse Diffusion Policy（SDP），在传统模型中解决了多任务学习和持续学习的高计算成本和灾难性遗忘的挑战，SDP 通过采用基于 transformer 的扩散策略中的 experts 和 skills，实现了选择性激活专家和技能，在不重新训练整个模型的情况下实现了高效的任务特定学习，减少了激活参数的负担，并促进了不同任务中专家的无缝集成和重用，通过对多样任务的广泛实验验证了 SDP 在多任务场景中的优越性，防止了对新任务的遗忘，实现了高效的任务转移，为先进的机器人应用提供了有前景的解决方案。
Jul, 2024
使用人工智能技术识别厌女症是一种打击网络对女性的有害言论的方式。本文中，我们提出了一种多任务学习方法，利用主体性解释厌女症的主题来提高识别系统性别歧视内容的性能。通过结合不同注释者的多样性观点，考虑六个配置文件组的性别和年龄，在模型设计方面进行了广泛实验和错误分析，并使用两种语言模型验证了我们提出的四种替代的多任务学习技术设计来识别英文推文中存在的厌女症内容。结果表明，结合多样化的观点增强了语言模型解释不同形式厌女症的能力。此研究推进了内容辅助管理，并强调了拥抱多元观点来构建有效的在线管理系统的重要性。
Jun, 2024
在本文中，我们通过定义非局部方向导数的新概念，并分析其理论属性，推导出非局部导数是 ε-sub 梯度的概率重整结果，以及收敛于随机梯度下降方法的样本复杂度结果。最终，利用非局部梯度解决了图像关节流形上参数估计的高度不可微和非凸模型问题，并通过实验表明了在低训练数据情况下，使用布朗运动灌注的 ReLu 激活函数和非局部梯度胜过确定性的 ReLu 激活函数的优越的泛化能力。
Jun, 2024
提出了一种具备学习选择子目标的规划和行动架构，可以在面对有实时限制的场景时减轻规划器的负载。在视频游戏环境中训练了这种架构，并通过测试同一游戏的不同关卡来评估其泛化能力。结果表明，与其他方法相比，该模型在计划质量（计划长度）和时间要求方面表现更好，既比标准的深度 Q 学习更具样本效率，又可以更好地泛化到不同的关卡，同时较现有最先进的自动规划器缩短问题解决时间，但相应地得到的计划行动增加了 9%。
Jun, 2024
提出了一种名为 FlexCare 的统一医疗预测模型，可以灵活地处理不完整的多模态输入，改善对多个医疗任务的适应性。该模型通过将多任务预测分解为一系列异步的单任务预测来突破传统的并行多任务预测范式，并通过引入多模态信息提取模块和多模态融合模块，在考虑不同模态之间和不同任务之间的信息差异的基础上实现对全面多模态数据的利用。通过在多个任务上进行实验，并进一步分析，验证了该多任务策略在医疗领域的可行性和潜力。
Jun, 2024
我们提出了一种联合建模方案，通过多任务学习和三种新的单通道波束搜索算法，我们训练出的 4D 模型在端到端自动语音识别上取得了更好的性能，并超过了使用单个解码器的模型。
Jun, 2024
提出了一种基于多模态数据的关注机制的序列推荐方法，该方法利用图像、文字和类别等多模态数据，利用 attention 操作和多任务学习损失，提高了推荐系统的性能。
May, 2024
利用深度学习技术，通过惩罚函数的雅可比核范数，提出了一种简单高效而准确的规则化方法，使雅可比核范数可以应用于高维深度学习问题，并在去噪和表示学习等领域进行了实证研究。
May, 2024