Oct, 2023

可微分的欧拉特征变换用于形状分类

PDF
TL;DR我们开发了一种新的计算层 DECT，它能够以端到端的方式学习 Euler Characteristic Transform，并在图形和点云分类任务中展现出与复杂模型相当的性能；此外，我们还发现这种看似非表达性的统计量仍然具有与更复杂的拓扑深度学习层一样的拓扑表达能力。
euler characteristic transformgeometrical characteristicstopological characteristicstask-specific representationstopological expressivity
发现论文，激发创造
  • Cayley 变换下的椭球拟合

    本文提出一种基于 Cayley 变换的椭球拟合算法，可以适应各种维度和任意的椭球形状，且比其他方法表现更好，该算法应用于降维、数据可视化和数据聚类，并能识别非线性特征。

    Apr, 2023

  • 用于判别性和生成性连续学习的高效特征变换

    本文提出了一种称为 EFTs 的简单的任务特定特征映射转换策略，具有强大的灵活性，利用最小的参数增加了基本体系结构，使其在大规模场景下实用；我们还提出了一种特征距离最大化策略来完成类增量设置中的任务预测。通过在较广泛的一系列任务序列中的实验，包括区分性任务和生成任务，证明了该方法的实效性和效率。

    Mar, 2021

  • 等变换器网络

    使用具有等变性函数的规范坐标系构建了一种不同 iable 的图像到图像映射，称为 ET（Equivariant Transformers），并证明了它能够在提高模型强健性方面进行灵活组合，从而使得在现实世界的图像分类任务中，相对于 ResNet 分类器，ET 能够在数据有限情况下提高最多 15% 的分类效果而只增加不到 1% 的模型参数。

    Jan, 2019

  • 可证明的一步生成的特征学习

    我们提出了一种特征生成器，这是一种新颖的单步生成模型，它将生成对抗网络（GANs）中的采样效率与流模型的稳定性相结合。我们的模型驱动着特征，沿着这些特征，可以通过常微分方程（ODEs）来描述概率密度传输。具体而言，我们通过非参数回归估计速度场，并利用欧拉法解决概率流 ODE，生成一系列离散的特征近似。然后，我们使用深度神经网络来拟合这些特征，确保实现了有效地将先验分布推向目标分布的单步映射。在理论方面，我们分析了速度匹配、欧拉离散化和特征拟合中的误差，建立了特征生成器在 2-Wasserstein 距离中的非渐近收敛速率。据我们所知，这是首次对无模拟单步生成模型进行全面分析。此外，我们的分析还改进了先前关于流模型生成模型的误差分析。我们将我们的方法应用于合成数据集和真实数据集，结果表明，仅通过一次神经网络评估即可实现出色的生成质量。

    May, 2024

  • 弹性决策变换器

    本研究介绍了一种新的弹性决策变换器（EDT）方法，可以在测试时通过调整在 DT 中保留的历史长度来促进轨迹拼接，实现优化轨迹和跨越 DT 和 Q 学习方法之间的性能差距，表现出优越性能。

    Jul, 2023

  • 掩码变压器用于心电图分类

    本研究提出了一种名为 MTECG 的有用的掩模 Transformer 方法，将掩模自编码器应用于心电图时间序列，实验结果在心电图分类中表现显著优于最新的算法。

    Aug, 2023

  • 用于动作识别的分层图卷积骨架变换器

    本文提出了一种名为 Hierarchical Graph Convolutional skeleton Transformer (HGCT) 的新型架构，通过引入 Disentangled Spatiotemporal Transformer 块，利用全局时空注意力和本地信息增强相互协同，以解决基于骨架的动作识别中的邻域限制和空间时间特征表示相互干扰等问题，同时具有计算效率高、解释性好等优点。

    Sep, 2021

  • ETC：在 Transformer 中编码长且结构化的输入

    本文介绍了一种新的 Transformer 架构 ——Extended Transformer Construction（ETC），该架构解决了标准 Transformer 架构的两个关键挑战，即扩展输入长度和编码结构化输入，并且通过将全局 - 局部注意力机制与相对位置编码以及对比预测编码（CPC）预训练目标结合使用，实现了对结构化输入的编码和处理，在需要长或结构化输入的四个自然语言数据集上取得了领先的成果。

    Apr, 2020

  • 用于归纳迁移回归任务的几何对齐迁移编码器

    通过使用差分几何，我们提出了一种基于几何对齐的转移编码器（GATE）的新型转移学习方法，该方法能够有效地在回归任务中从源数据向目标数据传递知识，并展现出在潜空间和外推区域的稳定行为，从而在各种分子图数据集上优于传统方法。

    Oct, 2023

  • E2EC：一种端到端基于轮廓的高质量高速实例分割方法

    在本文中，我们提出了一种名为 E2EC 的新型轮廓匹配 - based 方法，采用一种可以学习的轮廓初始化架构来取代手工制作的轮廓初始化，以构建更明确的学习目标，提取更好的轮廓特征，同时利用多方位对齐的标签采样方案降低学习难度，提出动态匹配损失函数来动态匹配最合适的预测 - 基本事实顶点对以提高边界细节质量，结果表明，E2EC 在 KITTI INSTANCE，Semantic Boundaries Dataset，Cityscapes 和 COCO 数据集上可以达到最先进的性能，同时还可以在实时应用中有效运行，对 512*512 图像在 NVIDIA A6000 GPU 上进行推理速度为 36 fps。

    Mar, 2022