- 多重网络中的表示学习:信息融合的位置和方法
在本文中,我们探索在无监督或半监督方式下,针对多通道网络中的节点学习表征的问题,并通过在图处理过程的不同层次上进行多样化的信息融合方案的详细分析和实验评估,提出了在处理多通道网络时如何构建 GNN 架构的改进方法。
- 团结共识,共著失败!基于同时在 75 个数据集上进行预训练的时间序列表示学习
自我监督对比式预训练方法和插值方法在多个时间序列数据集上的学习表明,可以从多个时间序列数据集中学习,对于低数据情况下的微调具有优势。
- 自监督压力图人体关键点检测方法:在数据集之间优化泛化和计算效率
该研究提出了一种新颖的自监督压力图关键点检测(SPMKD)方法,通过 Encoder-Fuser-Decoder 模型和 Classification-to-Regression Weight Transfer 方法,在不需要手动注释的情况 - FLD: 傅里叶潜在动力学用于结构化动作表示和学习
我们介绍了一种自监督的结构化表示和生成方法,能够提取周期性或准周期性运动中的时空关系,通过在连续参数化的潜在空间中进行运动动力学,增强了运动学习算法的插值和泛化能力,为未来的运动表示和学习算法的发展开辟了新的可能性。
- EEG2Rep: 通过信息化的屏蔽输入增强自我监督 EEG 表达
通过 EEG2Rep 方法,利用自监督学习从脑电图数据中学习表示,解决了低信噪比、广泛幅度变化和连续序列中缺乏明确分割等多个挑战,实验证明 EEG2Rep 在各类 EEG 任务中优于现有方法。
- AAAIMM-Point:多视图信息增强的多模态自监督 3D 点云理解
提出一种新颖的自监督点云表示学习方法 MM-Point,通过多模态交互和传输同时处理三维物体和多个二维视图之间的一致跨模态目标,以及通过多个 MLP 和多层次增强策略来更有效地实现二维多视图信息的一致性对比学习,进一步学习了二维多视图的多层 - 多区块预测:适应时序表示学习的 LLM 调整
本研究提出了一种创新的框架 aLLM4TS,用于适应大型语言模型(LLMs)进行时间序列表示学习,并通过将时间序列预测重新构想为自监督的多补丁预测任务,比传统的遮罩和重建方法更有效地捕捉了补丁表示中的时间动态。我们的策略包括两个阶段的训练: - 多视差一致性过滤的引导式单目深度估计的立体匹配知识
本研究提出了一种基于多个视差图来检查一致性的方法,以识别并过滤伪深度图中的错误,无需真实值(GT)和训练过程,并通过消除立体匹配易受攻击的错误区域,如无纹理区域、遮挡边界和反射表面,取得了比以往方法更好的实验结果。
- 多模态视觉触觉表示学习通过自监督对比预训练
通过利用对比学习的方法,本文介绍了 MViTac,一种将视觉和触觉感知以自我监督的方式整合的新方法,通过使用这两种传感器输入,MViTac 利用内部和跨模态损失进行表示学习,从而实现了更好的材料属性分类和更精确的抓取预测。实验证明了 MVi - 自我监督的鸟瞰运动预测与跨模态信号
通过引入新颖的跨模态自监督训练框架,本文解决了点云方法中的假流和不一致性问题,提出了三种创新的监督信号来保留场景动作的内在属性,包括遮罩 Chamfer 距离损失、分段刚性损失和时间一致性损失,通过广泛实验证明,我们提出的自监督框架在动作预 - 培养多轮思维的文本引导图像生成
本研究针对文本引导的图像生成任务,通过引入多轮规则化方法解决了单次优化忽略细节的问题,特别是在细微变化方面。我们的方法在文本引导的生成任务中展现了高保真度的生成质量,并在与文本的语义匹配方面得到了竞争性的表现。
- 基于自我监督的事件驱动单目深度估计与跨模态一致性
提出了一种自我监督的基于事件感知的单目深度估计框架 EMoDepth,利用来自与像素坐标中的事件对齐的强度帧的跨模态一致性约束训练过程,并且在推理中仅使用事件进行单目深度预测,同时设计了多尺度跳跃连接架构以有效融合用于深度估计的特征,并保持 - OccNeRF: 基于神经辐射场的自监督多相机占用预测
我们提出了一种自我监督的多摄像机占用预测 OccNeRF 方法,用于三维占用预测任务和语义占用预测任务。
- S2P3:自监督极化姿态预测
本研究提出了第一个自监督的多模态 RGB + 偏振图像的 6D 目标姿态预测方法,通过物理模型、师生知识蒸馏和逆可逆的物理约束等方式实现了稳健的几何表征和对偏振光的特征编码。通过自监督训练和物理约束,得到了准确的物体外观和几何信息,特别适用 - FuseNet:自监督的医学图像分割双通路网络
FuseNet 是一种双流框架,用于自我监督的语义分割,通过利用原始图像和增强图像之间的共享语义依赖来创建聚类空间,从而消除了手动标注的需求。它还结合了交叉模态融合技术和边缘细化损失函数,通过增强空间一致性和边缘对齐来提高语义分割的效果。
- 基于自监督深度降噪方法的单幅图像压缩感知磁共振成像
本文提出了一种单图像自监督压缩感知磁共振成像框架,能够实现压缩感知估计的深度与稀疏正则化,有效降低结构化压缩感知伪影,提高图像质量。通过对大脑和膝盖数据集使用 Cartesian 1D 掩码进行度量评估,平均峰值信噪比 (PSNR) 提高了 - 结合过去、现在和将来:一种用于分类增量学习的自监督方法
提出了一种基于自监督学习的类增量学习框架 CPPF,具有原型聚类模块、嵌入空间保留模块和多教师蒸馏模块,该方法在 CIFAR100 和 ImageNet100 数据集上实验证明了其对自监督类增量学习性能的提升。
- MM神经格约化:一种自监督几何深度学习方法
本研究使用深度学习方法解决格约简问题,通过设计一个深度神经模型输出因式分解的单模数矩阵,并通过自监督训练惩罚非正交格基来实现。同时,通过使模型对适当的连续和离散群具有不变性和等变性,将格约简的对称性纳入模型中。
- 自监督动态增量正则化适应
本文概述了最近一种名为 DIRA 的动态领域自适应方法,该方法依靠一些样本和弹性权重整合(elastic weight consolidation)这种正则化方法来实现最先进的(SOTA)领域自适应结果。DIRA 已经被先前研究证明能够与 - CL-Flow:通过对比学习加强归一化流以实现更好的异常检测
我们提出了一种自监督异常检测方法,结合对比学习和 2D-Flow,以实现更精确的检测结果和更快的推理过程。与主流的无监督方法相比,我们的方法展示了优越的检测准确度、更少的额外模型参数和更快的推理速度,整个训练和推理过程都是端到端的。