- 自监督编码器对未见数据集的聚类的实证研究
用预训练模型在未被训练的数据集上进行推理,探讨其嵌入是否能够形成有意义的聚类,评估自监督模型的嵌入,发现不同于监督模型,自监督模型在训练领域内表现更好,在训练领域外则相反,而微调模型则展示了相反的趋势,聚类提供了一种评估自监督学习表示的方法 - 自主学习的双轮廓化
基于学习的等值面提取方法是一种强大且高效的替代公理技术的新兴方法。然而,绝大多数这类方法依赖于带有公理计算出的真值标签的监督训练,因此会潜在地继承相应公理方法的偏见和数据伪现象。为了避免这种依赖性,我们提出了一种针对神经双轮廓网格化框架的自 - LaneCorrect: 自监督车道检测
本文提出了一种无监督的 3D 车道分割方法,通过利用激光雷达点云帧上车道的独特强度,在 2D 平面上投影 3D 点来获取嘈杂的车道标签;同时,利用自监督的预训练模型,矫正车道标签并训练学生网络实现任意目标车道(例如,TuSimple)的无人 - 基于扩散驱动的自监督学习用于形状重建和姿态估计
我们引入了一种扩散驱动的自监督网络,用于多目标形状重建和分类姿态估计,并且仅利用形状先验信息,通过点卷积层和图卷积层来捕捉姿态特征和形状信息,通过预训练和精炼的自监督训练范式训练我们的网络。实验证明,我们的方法明显优于最先进的自监督分类级别 - PIPsUS:超声自监督密集点追踪
我们提出了一种自我监督的像素级追踪模型,名为 PIPsUS,该模型可以在单次前向传递中追踪任意数量的点,并利用多个而不仅仅是连续的帧考虑时间信息。我们的方法在颈部和口腔超声以及超声心动图上进行了评估,与快速归一化互相关和调整的光流相比,显示 - UniGraph:从自然语言中学习跨领域图基础模型
我们提出了 UniGraph 框架,通过使用文本属性图(TAGs)来训练图基础模型,实现对未见过的图和任务在不同领域中的泛化能力。我们的方法采用了级联的语言模型(LMs)和图神经网络(GNNs)构建的骨干网络以及基于掩码图建模(MGM)的自 - 高效有效的深度聚类与动态分组及原型聚合
实时更新群组划分的动态分组和原型聚合的深度聚类框架有效地利用紧凑的群内连接、相互分离的聚类和高效的群组更新,通过自我监督训练在球面特征空间上执行原型聚合的对比学习,取得了优于最先进方法的卓越性能。
- 自标记作业车间调度问题
通过自我标注策略,我们提出了一种专门为组合问题设计的自监督训练策略,采样多个解并使用问题目标最佳解作为伪标签来训练生成模型,从而完全消除了优化信息需求,并在作业车间调度问题上证明了其有效性。
- 局部自适应神经网络三维形态模型
我们提出了本地自适应可塑模型(LAMM),这是一个高度灵活的自编码器(AE)框架,用于学习生成和操纵 3D 网格。我们的模型通过自监督训练方案,使用输入的位移来覆盖编码的几何形状,以实现从一个训练样本转换到另一个样本。在推断过程中,我们的模 - 优化预训练动作模型
使用自我监督训练改进现有的有监督模型,通过将数据标记和训练分为两个不同的阶段,并结合简单的技术来稠密化和重平衡伪标签,从而在实际视频中实现可靠的增益,适用于短期(基于流)和长距离(多帧)像素跟踪。
- 利用视觉监督进行基于阵列的主动说话人检测和定位
通过用从多通道音频中提取的空间输入特征进行训练的简单音频卷积循环神经网络(CRNN),可以独立于视觉模态进行同时水平活动说话者检测和定位(ASDL),超越典型的音频 - 视觉方法的性能并产生竞争性结果的成本昂贵的传统监督式训练。
- 分层复杂匹配学习产生了一个更好的 V2 皮层模型
通过在连续层上独立进行自我监督训练的自底向上方法,我们使两阶段的模型更好地与灵长类动物的 V2 区域神经活动一致,提高了对于识别对象和与人类行为相一致的一致性。
- 室内毫米波定位利用多个自主学习的微型神经网络
本研究提出了使用多层感知机神经网络(NN)在大型室内环境中定位移动毫米波客户端的方法。通过选择多个经过自监督训练的小型 NN,并根据最佳 NN 进行切换,我们解决了定位准确性不足的问题。我们提出了两种切换方案:基于卡尔曼滤波和基于训练数据的 - 具备理论保证的强健对比学习
通过开发严密的理论来剖析和确定无监督损失中能够帮助改善鲁棒监督损失的成分,并进行适当实验证实我们的发现。
- 临床特征嵌入的语言模型训练范式
通过自我监督训练模型来学习高质量的临床特征嵌入表示,以增强临床时间序列的表示学习能力,并通过无监督降维技术可视化学习到的嵌入表示,发现其与先前的临床知识具有高度一致性;同时在 MIMIC-III 基准数据上评估模型性能,并证明了使用临床特征 - FOCAL: 在分解正交潜空间中的多模态时间序列感知信号的对比学习
该论文提出了一种名为 FOCAL 的新型对比学习框架,通过自监督训练从多模态时间序列感知信号中提取全面的特征。FOCAL 通过引入共享特征和私有特征的分解潜空间,以在感官模式间保留一致的特征模式并提取独占的信息以及引入时间结构约束来处理挑战 - 用于鲁棒自监督表示学习的多样化独立子网络集合
通过使用多个独立的子网络组成的集成模型来提高模型性能和可靠性,并通过新的损失函数鼓励模型之间的多样性,在保持计算效率的同时,有效地改善模型的不确定性估计。在计算机视觉、自然语言处理和基因组数据等多个领域的广泛实验中,我们的方法在预测可靠性方 - 多变体划分混合:一种用于严重标签噪声的半监督对比学习框架
本文提出了一种基于自监督训练的方法,通过利用所有训练数据的信息,为每个样本提取有意义且可泛化的嵌入空间,从而去除 out-of-distribution 样本,并使用迭代的 Manifold DivideMix 算法找到干净和有噪音的样本, - K 波段:基于 K 空间子集的随机梯度下降的自监督 MRI 重建
通过在有限分辨率数据上进行自监督训练来提供实验保证,并且在解决磁共振成像问题中达到了现有方法的性能水平。
- 一种自监督算法用于通过穿戴设备估算心率的光电容积脉搏信号去噪
本研究提出了一种基于自监督训练的去噪算法来去除穿戴式设备 PPG 信号中的噪音和运动伪迹,提高心率估计的准确性及心率变异性的估计精度,为穿戴式设备在健康指标方面的应用提供了改进。