BrainNPT：用于脑网络分类的 Transformer 网络预训练

May, 2023

BrainNPT：用于脑网络分类的 Transformer 网络预训练

BrainNPT: Pre-training of Transformer networks for brain network classification

Jinlong Hu, Yangmin Huang, Nan Wang, Shoubin Dong

TL;DR本文提出了一种基于 Transformer 的深度学习网络，名为 BrainNPT，用于脑功能网络分类，并探讨了使用未标记数据进行预训练的方法，结果表明使用预训练的 BrainNPT 模型可以显著提高分类表现。

Abstract

deep learning methods have advanced quickly in brain imaging analysis over the past few years, but they are usually restricted by the limited labeled data. Pre-trained model on unlabeled data has presented promis

deep learning pre-training brain imaging functional network classification transformer

发现论文，激发创造

PTGB：面向脑网络分析的预训练图神经网络

本研究提出了一种针对大规模脑网络数据的 GNN 预训练框架 PTGB，能在没有特定任务标签的情况下学习脑网络的内在结构，并易于适应各种下游任务，从而实现对脑网络结构复杂性的自适应处理及临床神经疾病诊断的快速准确。

May, 2023

预训练语言变换器是通用图像分类器

本文通过使用预训练的转换器模型提出了一种面部图像的分类方法，包括包括二进制分类、使用加密图像进行分类等，并探讨了此方法对于隐私保护机器学习的启示。

Jan, 2022

图像分类网络的发展预训练（DPT）

以满足日益增长的深度神经网络对目标识别的数据需求为背景，本文提出了一种可能的解决方案，即发展性预训练（DPT），它是一种基于课程的预训练方法，旨在与那些对数据需求很大的传统预训练技术竞争。本文从人类婴儿视觉发展中汲取灵感，设计了 DPT 的课程，并采用阶段性的方法向网络传授精心选择的基本和普遍特征。通过将经历了 DPT 训练的模型与具有随机权重的模型进行对比评估，验证了 DPT 的可行性。

Dec, 2023

大脑解码深度神经网络

我们开发了一种工具，通过将大型预训练视觉模型映射到大脑上，从而揭示其隐藏在内部的信息。我们的创新提出了一种令人惊讶的使用大脑编码的方法：预测大脑在图像刺激下的功能磁共振成像测量。我们报告了两个发现：首先，对于空间、层级、尺度和通道的大脑和深度网络特征之间的显式映射至关重要。这种映射方法，FactorTopy，可应用于任何深度网络；通过它，我们可以将网络映射到大脑上（真实可视化）。其次，我们的可视化结果显示了不同的训练方法的重要性：它们导致了层次结构和缩放行为上显著的差异，随着更多的数据或网络容量增加而增长。它还提供了微调的见解：在适应小数据集时，预训练模型如何改变。我们的方法很实用：只需 3000 个图像就足以学习网络到大脑的映射。

Dec, 2023

语言的黑暗面：预训练变形器在 DarkNet 中的应用

通过对 DarkNet 语料库上的分类任务探索，研究比较了不同预训练自然语言理解模型的表现，结果发现句法和词汇神经网络在适应新颖语义时优于预训练 Transformer 模型。

Jan, 2022

使用预训练 Transformer 作为通用计算引擎

本研究探究了预先在自然语言处理上训练的 transformer 模型是否可以在最小化调整下进行泛化以适用于其他模式，并研究其在数字计算、视觉和蛋白质折叠预测等序列分类任务上的优化性能。结果表明，预训练模型对非语言下游任务的性能和计算效率都有积极作用。

Mar, 2021

脑网络变换器

本文探讨了基于 Transformer 模型的脑网络分析方法。通过将脑网络构建为固定大小和顺序的图形，使用连接特征提供自然低成本的位置信息，学习不同个体之间具有高预测性的特征强度。基于自监督软聚类和正交投影的正交聚类读取操作包含确定相似行为的基础功能模块，导致具有区分性的簇感知节点嵌入和信息丰富的图嵌入。该方法在公开 ABIDE 和经过限制的 ABCD 数据集上实现了明显的改善，代码实现可以在该 https URL 获取。

Oct, 2022

预训练图像处理 Transformer

本论文主要研究了低层级计算机视觉任务（如去噪、超分辨率和去雨等），并开发了一种新的预训练模型 —— 图像处理变压器（IPT），通过 ImageNet 基准测试产生大量的损坏图像对，训练 IPT 模型并成功地在不同的图像处理任务上产生了良好的结果。

Dec, 2020

神经语言模型并非一出生就适合大脑数据，但训练有助于改善

本文探讨了使用神经语言模型对大脑活动进行研究的方法，主要研究了测试损失、训练语料库和模型架构对捕捉大脑活动的影响，并提出了未来研究的良好实践建议。

Jul, 2022

基于 Transformer 的脑网络分析层次聚类

本文提出了一个新的可解释性变换器模型，用于联合分层聚类识别和脑网络分类，以实现对脑区功能组织的可行洞察。

May, 2023