FATE: 基于 Transformer 的特征无关编码器用于学习流式细胞仪数据中的广义嵌入空间

Nov, 2023

FATE: 基于 Transformer 的特征无关编码器用于学习流式细胞仪数据中的广义嵌入空间

FATE: Feature-Agnostic Transformer-based Encoder for learning generalized embedding spaces in flow cytometry data

Lisa Weijler, Florian Kowarsch, Michael Reiter, Pedro Hermosilla, Margarita Maurer-Granofszky...

TL;DR通过学习一种通用的嵌入空间，我们提出了一种新型架构，能够直接处理具有不同特征集合的数据，从而实现对异构特征空间数据的共享潜在特征空间的学习。该模型的优势在于能够在不一致的特征空间中无缝操作，特别适用于数据稀缺的情况，例如急性髓性白血病流式细胞术中的癌细胞检测。

Abstract

While model architectures and training strategies have become more generic and flexible with respect to different data modalities over the

model architectures training strategies data modalities input features feature spaces

发现论文，激发创造

特征空间转移用于数据增强

该论文提出了一种新的体系结构 —— 特征转移网络（FATTEN），用于建模由目标姿态变化引起的特征轨迹的数据增强方法，并且该方法在目标识别任务中表现出了良好的泛化效果。

Jan, 2018

一次学习的任务自适应特征转换

介绍了一个简单的非线性嵌入自适应层，对于一次性任务，在固定的预训练特征之上微调，从而显著改善了低样本情况下的传导熵推断。

Apr, 2023

通过感知交互意识的自动转换提升特征认知能力

通过引入一种交互感知的增强生成视角，我们重新定义特征空间重建为通过选择创建有意义的特征和控制特征集大小的嵌套过程，从而自动化特征和操作的选择以及特征交叉。通过结合统计度量，我们基于所选特征之间的相互作用强度奖励智能体，实现了对特征空间的智能和高效的探索，从而模拟人体决策过程。通过进行大量实验证实了我们提出的方法。

Sep, 2023

FlowerFormer：使用流感知图变换增强神经网络结构编码

FlowerFormer 是一个强大的图形变换器，通过结合神经结构内的信息流，进一步加强表示学习，并通过双向异步消息传递和基于流掩码的全局注意力机制，显著优于现有的神经编码方法，扩展应用于计算机视觉模型、图形神经网络和自动语音识别模型。

Mar, 2024

可解释的用于分析流式细胞仪细胞转化器的技术

对于临床应用而言，深度学习模型的解释性尤为重要，尤其是在自动化系统的决策具有深远影响的情况下。本文评估了一种名为 ReluFormer 的 Transformer 模型在 Flow CytoMetry（FCM）数据上的应用，提出了一种针对 FCM 的基于梯度和注意力的可视化技术，并通过儿科急性淋巴细胞白血病（ALL）FCM 样本的细胞分类和多边形回归进行了定性评估，结果展示了模型的决策过程以及如何利用所提出的技术来检查已训练模型的情况。梯度可视化不仅能够识别对特定预测最重要的细胞，还能指示在 FCM 特征空间中，哪些变化对预测影响最大。而注意力可视化则提供了有关 Transformer 在处理 FCM 数据时的决策过程的洞察，我们展示了不同的注意力头在关注不同的生物学意义的子种群上具有专门化的能力，尽管在训练过程中该模型仅利用了监督二元分类信号。

Jul, 2023

跨异构特征空间的表格式少样本泛化

对于标签数据集，目前还未深入探索少样本学习。现有的少样本学习方法不适用于标签数据集，因为其存在不同的列关系、意义和排列不变性。为了解决这些挑战，我们提出了一种名为 FLAT 的新型标签少样本学习方法，涵盖了异构特征空间下数据集之间的知识共享。利用 Dataset2Vec 启发的编码器，FLAT 学习了数据集和其各个列的低维嵌入，从而促进了对以前未见过的数据集的知识传递和泛化。一个解码器网络对预测目标网络进行参数化，作为图注意网络的实现方式，以适应标签数据集的异构性质。对 118 个 UCI 数据集进行的实验证明了 FLAT 在新的标签数据集上的成功泛化，并且相对于基准模型有了显著的改进。

Nov, 2023

动态特征聚合的鲁棒表征

本文提出一种名为动态特征聚合的方法，旨在通过优化正则化和引入正交分类器的方式，压缩卷积神经网络 (CNN) 建模中的嵌入空间和提高模型的鲁棒性，从而更好地应对对抗攻击。在 CIFAR-10 数据集上，我们的方法平均准确率为 56.91％，优于 Mixup 基线 37.31％；此外，我们的方法还在超出分布检测方面实现了最佳性能。

May, 2022

编码器 - 解码器网络中的可解释变换

本文介绍了用自定义特征转换层构建深度特征空间，并通过显式解缠模型在多个数据集和转换上显示出明显优势，并提供传统任务（如分类）的帮助。

Oct, 2017

GTrans: 带有图嵌入的时空自回归变换器用于极端事件的实时预测

提出了一种名为 GTrans 的时空模型，该模型将数据特征转换为图嵌入，并使用变压器模型预测时间动态，并能够对极端事件进行预测，可在社交网络，道路交通，物理和化学属性预测等领域应用。

Jan, 2022

TENET: 用于有效时序流的 Transformer 编码网络，用于运动预测

本报告提出了一种用于自主驾驶的有效的运动预测方法，采用基于 Transformer 的输入编码和轨迹预测，引入了 Temporal Flow Header 以增强轨迹编码，最后使用高效的 K-means 集成方法，在 Argoverse 2 Motion Forecasting Challenge 赢得了第一名，最小 brier-FDE 评分达到 1.90，表现优于现有技术。

Jun, 2022