Jun, 2022

利用迁移学习解码反映认知任务间关系的脑状态

PDF
TL;DR本研究提出了一种转移学习框架来反映认知任务之间的关系，并比较了转移学习和脑区重叠（例如 neurosynth）反映的任务关系。研究结果表明，如果源任务和目标认知任务激活相似的脑区，则转移学习在 fMRI 数据的任务解码方面表现更好。此研究揭示了多个认知任务之间的关系，并为基于小样本数据的神经解码中的源任务选择提供了指导。
发现论文，激发创造
  • 评估认知任务结构的迁移学习

    通过在不同的 EEG 解码任务上进行深度学习网络的预训练和评估，研究了深度学习表达在任务之间的可迁移性，并发现在解码性能上有显著的提升，同时揭示了特定解码范式引发特定脑活动的证据，从神经科学的角度加强了我们对认知任务之间层次关系的理解。

    Jul, 2023

  • 通过遮蔽自动编码器基于转移学习的 fMRI 重建揭示认知任务分层结构

    利用蒙特卡洛自编码器模型重建功能性磁共振成像数据，通过迁移学习框架得到认知任务关系矩阵，揭示了认知任务之间的相似性和主从关系，为神经解码任务提供源任务选择的指导，以提高目标任务的解码性能。

    May, 2024

  • 语音和语言处理的迁移学习

    该文总结了最近关于利用深度模型在语音和语言处理中进行模型适应的一些重要研究，重点关注了利用迁移学习在跨语音和多语言任务中的表现，并展示了深度模型在跨数据分布、数据类型、模型结构和模型类型之间进行学习的潜力。

    Nov, 2015

  • 寻找最具转移潜力的脑图像分割任务

    本文提出了一种基于先验知识和可转移性的框架来选择最好的源任务，在收集到的多个脑图像分割任务中进行选择，以提高给定目标任务的转移学习性能。在脑物质、脑肿瘤和白质高信号异常分割数据集上进行的实验表明，从相同模态下的不同任务转移通常比从不同模态下的同一任务转移更成功。此外，在相同模态下，从具有与目标任务更强的 RoI 形状相似性的源任务转移可以显着提高最终的转移性能，并且可以使用标签空间中的结构相似度指数来捕获这种相似性。

    Jan, 2023

  • 对话理解中基于数据效率的数据集内任务迁移探索

    本研究探讨了在对话领域中，基于顺序迁移学习的多少目标任务训练数据会对模型性能和数据效率产生何种影响。研究结果表明，在许多情况下，与没有迁移学习的相同模型相比，目标任务的训练数据大小对顺序迁移学习的表现几乎没有影响。这一出人意料的结果可能是灾难性遗忘效应的影响，进一步的工作需要研究如何避免这种遗忘。

    Oct, 2022

  • 任务分解：解耦任务迁移学习

    本文提出了一种针对可视化任务空间结构的全计算方法，建立起一个任务转移学习的计算分类图谱，并研究了这种结构的一些影响，例如，减少标记数据的需求等。

    Apr, 2018

  • 用于高效任务分类和迁移学习的表示相似性分析

    本文提出通过使用 RSA 方法评估不同任务和其特定模型之间的关系来实现任务分类，进而用少量图像和预训练模型来展示此方法在生成 Taskonomy 数据集的任务分类方面的有效性和效率，并展示了在与 Pascal VOC 语义分割等任务中转移学习表现上 RSA 的关系，结果表明在相似性得分较高的任务上训练的模型具有更好的迁移学习表现。

    Apr, 2019

  • 多任务学习中转移的测量与利用

    本文分析了多任务学习的信息传递动态，并开发了可量化任务间信息转移的相似度度量方法，从而使得我们在宏观和微观层面上提出了两种方法来优化多任务学习性能，这些方法在三个监督式多任务学习基准和一个多任务强化学习范式上都有显著改进。

    Oct, 2020

  • 基于任务关系建模的多智体策略迁移

    本文提出了一种基于任务表示的团队适应方法，通过学习任务之间的共同结构，使得团队可以在少量的源任务学习之后将协作知识传递到新任务上。我们发现微调转移策略有助于解决那些从头开始难以学习的任务。

    Mar, 2022

  • 探索任务可转移性在大规模多任务学习中的作用

    本研究旨在阐明多任务表示学习中任务规模和相关性的影响。研究表明，如果预先知道目标任务，则在较小的一组相关任务上进行训练在降低计算成本的同时也能与大规模多任务训练相竞争。

    Apr, 2022