AAAIDec, 2021

通过多任务学习改进证据深度学习

PDF
TL;DR提出了一种多任务学习框架 MT-ENet，通过将 Lipschitz 修正均方误差（MSE）损失函数添加到负对数边缘似然 (NLL) 损失中，动态调整 Lipschitz 常数，以解决 Evidential regression network (ENet) 的梯度收缩问题，并提高其预测精度，同时保持其良好的不确定性估计能力，该方法在药物 - 靶标亲和力 (DTA) 回归等实际基准测试中表现出了出色的校准和超出分布检测能力。
evidential regression networkgradient shrinkage problemmulti-task learningmean squared error lossdrug-target affinity
发现论文，激发创造
  • 多任务学习下的上下文感知神经机器翻译案例分析

    探讨了使用多任务学习和多重编码器方法在文档级神经机器翻译中建模上下文编码的观察，证明了在资源匮乏的情况下，该方法比串联和多重编码器模型表现更好，并对选择上下文敏感。

    Jul, 2024

  • 多任务领域自适应与三维物体的语言 grounding

    利用培训有源代码的现成模型来捕捉特征，如视角选择或几何先验，改善性能是现有关于三维物体目标级语言基础的工作的主要关注点之一。然而，它们没有考虑到在跨领域中探索语言 - 视觉对齐的跨模态表示。为了解决这个问题，我们提出了一种名为三维对象领域适应的语言基础（DA4LG）的新方法。具体而言，DA4LG 由具有多任务学习的视觉适配器模块组成，通过全面的多模态特征表示实现视觉 - 语言对齐。实验结果表明，DA4LG 在视觉和非视觉语言描述方面具有竞争力的性能，不受观测完整性的影响。DA4LG 在单视图设置和多视图设置中均在语言基础基准 SNARE 中达到了 83.8％和 86.8％的准确率，达到了最先进的性能。仿真实验显示 DA4LG 相比现有方法具有良好的实用和泛化性能。

    Jul, 2024

  • HyperLoader: 将基于 Hypernetwork 的 LoRA 和适配器层集成到多任务 Transformer 中，用于序列标注

    我们介绍了 HyperLoader，一种简单的方法，它在多任务设置中结合了不同的参数高效调优方法。通过使用超网络根据任务、Transformer 层以及层内位置生成这些模块的权重，我们的模型实现了这一目标。我们的方法通过在生成的权重中封装任务特定知识，综合了多任务学习的优点，同时通过结合不同的参数高效方法以超过完全调优的表现。我们提供实验证据证明 HyperLoader 在大多数数据集中优于以前的方法，并在高资源和低资源场景中获得最佳的任务平均性能。

    Jul, 2024

  • 情感分析的多任务学习

    这项研究在情感计算领域进行，旨在提高情绪识别领域多任务学习的效率和效果。研究探索了单任务解决方案和多任务方法，并通过修改输出层和损失函数，利用现有的神经网络架构进行多任务学习，研究结果对于情感计算领域具有潜在的应用价值。

    Jun, 2024

  • 自监督嵌入用于检测抑郁症个体症状

    利用自监督学习（SSL）基于语音模型识别和预测抑郁症症状和严重程度，比传统语音特征具有显著性能改进，并探究不同类型的 SSL 预训练模型在识别不同症状时所贡献的语音信息，以及多个 SSL 嵌入的组合和多任务学习在有效识别抑郁症症状中的重要性。

    Jun, 2024

  • MetaGPT: 使用模型专属任务算法合并大型语言模型

    本文介绍了一种用于合并大型语言模型的模型专属任务算法，该算法通过优化合并模型和每个个体任务模型之间的平均损失差异来实现多任务学习，该方法不受隐私限制，具有成本效益和易于实施的优势，并在多个任务上取得了最先进的性能。

    Jun, 2024

  • 利用通用领域资源增强生物医学命名实体识别

    通过利用通用领域的命名实体识别数据集进行迁移学习，本研究提出了一个简单而有效的方法 GERBERA，用于训练预训练的生物医学语言模型，该模型能在少量生物医学资源的情况下，对多个生物医学数据集进行命名实体识别，其表现优于使用多个附加生物医学数据集训练的基准模型。

    Jun, 2024

  • 一种适用于语义变化检测的后期双时区特征融合网络

    我们提出了一种新颖的迟期双时期特征融合网络来解决地理科学和地球观测中的语义变化检测问题。通过引入局部全局注意聚合模块和局部全局上下文增强模块，我们的模型在两个公共数据集上取得了最新的最佳性能。

    Jun, 2024

  • 基于多任务学习和项目反应理论的语法多样性和错误自动评分

    本研究探讨了语法特征对自动作文评分的影响，结果表明语法特征可以提高预测作文整体分数的自动评分模型的性能，同时，多任务学习与语法分数结合使用语法特征也能进一步提高模型性能。利用项目反应理论评估语法能力作为辅助任务的模型表现与人工评分的语法分数相当，此外，根据语法项的难度和作者的语法能力，利用项目反应理论对语法特征进行加权处理可进一步提高性能。

    Jun, 2024

  • 原子级材料建模中基于图的模型的可扩展训练：以 HydraGNN 为例

    基于 HydraGNN 的可扩展图基础模型 (GFM) 的开发和训练，具有高度的训练规模和数据多样性，以及并行训练算法的创新；我们使用超级计算资源展示了多个优化策略和性能，开发出适用于材料发现和设计的 AI 加速的 GFM 模型。

    Jun, 2024