Mar, 2024

精确高效的微区 XRD 相位识别方法：多任务学习应用于热液流体

PDF
TL;DR本研究展示了多任务学习（MTL）架构的深度学习在高度扭曲的微 X 射线衍射模式分析中的潜力，通过训练 MTL 模型识别微 X 射线衍射模式中的相位信息，减少对实验数据标记和预处理的需求，展示了 MTL 模型在准确性上优于二进制分类卷积神经网络，并通过引入定制的交叉熵损失函数改善了 MTL 模型的性能。最重要的是，针对原始和未掩盖的 XRD 模式进行优化的 MTL 模型可以实现接近对预处理数据进行分析的模型的性能，准确性差异很小。这项工作表明，像 MTL 这样的高级深度学习架构可以自动化繁琐的数据处理任务，简化扭曲 XRD 模式的分析，并减少对劳动密集型实验数据集的依赖。
micro-x-ray diffractiondeep learningmultitask learningphase identificationdata preprocessing
发现论文，激发创造
  • 多任务推荐中的跨任务知识蒸馏

    提出了一种交叉任务知识蒸馏框架，通过引入辅助任务和校准蒸馏方法，解决了多任务学习中涉及的任务冲突、不一致和同步优化的问题，在实现细粒度推荐、跨任务知识转移等方面有显著效果。

    Feb, 2022

  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016

  • 雷达信号特征化的多任务学习

    本文提出了一种多任务学习（MTL）方法，即 IQ 信号变换器（IQST），用于雷达信号分类和表征，并在合成雷达数据集上展示了我们提出的 MTL 模型的性能，同时也提供了雷达信号表征的首个基准。

    Jun, 2023

  • 数据协调的多阶段预测网络

    本文介绍了将多任务学习（MTL）引入数据协调（DH）的研究。我们提出了多阶段预测（MSP）网络，这是一个 MTL 框架，将神经网络整合到一个较大的结构中，以改善预测性能和学习效率。我们在一个 dMRI 协调挑战数据集上验证了我们的方法，并展示了 MSP 的优异性能。

    Jul, 2019

  • 基于电子健康记录的关节疾病预测的自动化多任务学习

    在大数据和数字医疗领域，电子健康记录（EHR）已成为丰富信息的来源，具有改善患者护理和医学研究的潜力。近年来，机器学习模型不断增多，用于分析 EHR 数据以预测患者未来的健康状况。其中，一些研究主张采用多任务学习（MTL）来共同预测多种目标疾病，以提高预测性能，然而，目前针对 EHR 数据的 MTL 框架存在重要限制，因为它们过于依赖人为专家来识别任务组合以进行联合训练和设计模型架构。为了减少人工干预并改进框架设计，我们提出了一种名为 AutoDP 的自动化方法，它能够同时搜索任务组合和架构的最佳配置。为了解决任务组合和架构包含的庞大搜索空间，我们采用基于代理模型的优化，使我们能够高效地发现最优解。对真实世界的 EHR 数据的实验结果表明了提出的 AutoDP 框架的有效性。它在手工设计和自动化的最先进方法上取得了显著的性能改进，同时也保持了可行的搜索成本。

    Mar, 2024

  • 多任务学习作为通用 AI 本地 RAN 的实现方法

    通过实现面向 6G 及更高版本网络的基于数据驱动的 AI 原生架构，可以最终实现在网络边缘分布多个机器学习工作负载，驱动次级载波预测、定位、信道预测等下游任务。该研究探讨了多任务学习在构建通用 AI 原生无线接入网络方面的有效性，重点研究了次级载波预测、用户位置预测、室内链路分类和视线链路分类四项任务，在真实模拟中验证了性能，并得出了关于模型架构、损失和梯度平衡策略、分布式学习拓扑结构、数据稀疏性和任务分组等多方面设计要点的定量分析和见解，结果显示在四项考虑的任务中，采用基于定制门控的专家架构和基于不确定性的权重调节的多任务学习方法在性能上要么超过单任务学习，要么与其持平；在多任务学习设置下，视线链路分类任务有助于其他任务，但自身性能下降；对于稀疏训练数据，训练单一全局的多任务学习模型有帮助，但性能与单任务学习持平；每个任务存在一组最佳的任务组配对；多任务学习设置下的部分联邦要好于全模型联邦。

    Apr, 2024

  • 深度神经网络的多任务学习：一项调查

    本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

    Sep, 2020

  • 异质多任务学习与专家多样性

    提出了一种名为 MMoEEx 的多门分层专家模型用于解决多任务学习（MTL）中的挑战，旨在优化单个模型以同时预测具有不同特征的多个任务，我们采用了一种方法来引入专家间的多样性，以创造更适合高度不平衡和异构 MTL 学习的表示，并采用两步优化方法在梯度水平上平衡任务。

    Jun, 2021

  • 密集预测任务的多任务学习：综述

    本文综述了当前深度学习在计算机视觉中的多任务学习领域的最新研究进展，主要关注密集预测任务，从网络架构和优化方法两个角度进行了阐述和总结，旨在探讨多任务共享表示学习的优势和局限性。

    Apr, 2020

  • 跨多种拓扑结构搜索的多任务学习动态神经网络

    本文提出一个多任务学习框架，利用限制 DAG-based 中央网络和特征共享来构建适应性强的结构，并使用流量约束和挤压损失将网络压缩离散化，从而实现在多个公共 MTL 数据集上达到最先进的性能。

    Mar, 2023