Dec, 2023

骨骼在上下文中的统一骨骼序列建模与上下文学习

PDF
TL;DR通过上下文学习来进行骨架序列建模是一种新的视觉与自然语言处理多任务建模方法，本文提出了一种名为 Skeleton-in-Context (SiC) 的有效框架用于骨架序列的上下文建模，实现了多种基于骨架的任务的同时执行，并且可以根据给定提示进一步推广到新的未见任务。
in-context learningmulti-task modelingskeleton sequence modelingskeleton-in-contexttask-unified prompt
发现论文，激发创造
  • SINC：自我监督上下文学习用于视觉 - 语言任务

    本文提出了一种自监督的上下文学习 (SINC) 框架，可以在视觉 - 语言领域的各种任务中进行前馈预测，无需通过渐变更新进行特定任务微调，并表明在少样本数据的情况下 SINC 方法优于基于梯度的方法。

    Jul, 2023

  • Skeleton2vec：一种具有上下文化目标表示的自监督学习框架，用于骨骼序列

    Skeleton2vec 是一个采用自注意机制和运动感知的管道掩蔽策略的自监督学习框架，用于骨骼动作表示学习，实验结果表明其在 NTU-60、NTU-120 和 PKU-MMD 数据集上比现有方法表现更好，达到最先进水平。

    Jan, 2024

  • 走向更统一的上下文视觉理解

    我们提出了一种新的具有多模态输出功能的视觉理解的上下文学习框架，通过将文本和视觉提示量化和嵌入到统一的表示空间中，并采用仅具有解码器的稀疏 Transformer 架构在其上执行生成建模。实验结果表明，我们的模型在统一的多模态管线中实现了与专门模型和先前上下文学习基准模型相竞争的性能。总体而言，我们的研究在统一多模态上下文学习方面迈出了进一步的一步。

    Dec, 2023

  • SegICL: 一个用于增强医学影像分割的通用上下文学习框架

    通过 In-Context Learning (ICL) 实现的 SegICL 是一种新颖的方法，它能够在无需训练或微调的情况下，利用文本引导分割和上下文学习来应对在分布之外的数据模态和任务上的新分割任务。实验结果表明，SegICL 能够有效地利用上下文信息来处理新的分割任务，并在在分布和分布之外的任务上展示出可比较的分割性能。

    Mar, 2024

  • 点在上下文中的理解：通过上下文学习理解点云

    通过引入 Point-In-Context（PIC）框架，利用 in-context learning 解决 3D 点云的任务，同时提出了增强版 PIC-S，通过动态上下文标签和额外的上下文对提高模型性能和泛化能力。

    Apr, 2024

  • 通过掩蔽运动建模的激发对比：走向多功能的 3D 动作表示学习

    我们提出了 Prompted Contrast with Masked Motion Modeling (PCM3) 方法，通过互惠方式集成了对比学习和遮挡预测任务，极大地提高了在不同下游任务中的泛化能力。通过减少学习两个不同训练任务造成的干扰，并通过掩模预测为对比学习提供了新视角，指导了高级语义信息的预测训练。与现有的工作相比，在三个大规模数据集上进行了大量实验证明了 PCM3 方法的卓越泛化能力。

    Aug, 2023

  • 简化超声医学图像分割的视觉上下文学习与遮罩图像模型结合的简单框架

    新的简单视觉上下文学习（ICL）方法 SimICL 结合被设计用于自监督学习的屏蔽图像建模（MIM）对配对图像进行视觉 ICL，成功地在具有有限注释的腕部超声数据集上验证，对于骨骼结构分割取得了非常高的 Dice 系数（DC）和 Jaccard 指数（IoU），并能减少图像标注需要的人工专家时间，提高超声图像分析中人工智能辅助的实际应用。

    Feb, 2024

  • 基于图像对比学习的基于骨架的动作识别

    本文提出了一个骨架动作识别的图形对比学习框架（SkeletonGCL）来探究跨所有序列的全局上下文，在多个上下文尺度上进行图对比学习，从而建立了一个新的训练范式，并可以无缝地融合到当前 GCNs 中，在 NTU60，NTU120 和 NW-UCLA 基准上获得了一致的改进。

    Jan, 2023

  • SEGIC: 在上下文中释放出的新出现对应方法实现的分割

    利用上下文分割框架（SEGIC）的元学习和端到端设计，可以实现在只有少数示例图像的情况下对新图像进行分割，并显著降低标记和训练成本，同时在一次性分割基准测试中取得最先进的性能。

    Nov, 2023

  • MS$^2$L：基于骨架的动作识别的多任务自监督学习

    本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题，提出了一种多任务自监督学习的方法，包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。

    Oct, 2020