Aug, 2023

跨体系结构自监督下的高效医疗表示学习

PDF
TL;DR在医疗和生物医学应用中，极端的计算要求对采用表示学习构成了重大障碍。本研究提出了一种名为 CASS（Cross Architectural - Self Supervision）的创新孪生自监督学习方法，通过协同使用 Transformer 和卷积神经网络（CNN）进行高效学习，从而克服了现有自监督学习方法在临床实验环境中使用较小批量大小或较短预训练周期时性能降低的问题，并且在四个多样化的医疗数据集上优于现有方法。实验证明，CASS 训练的 CNN 和 Transformer 在仅有 1% 标记数据用于微调时平均性能提高了 3.8%，在 10% 标记数据下提高了 5.9%，而在 100% 标记数据下提高了惊人的 10.13%。值得注意的是，CASS 相比现有最先进方法减少了预训练时间 69%，更适合临床实施，并且 CASS 对批量大小和预训练周期的变化更为稳健，使其成为医疗应用中的机器学习的合适选择。
representation learningself-supervised techniquescross architectural - self supervisionsiamese self-supervised learninghealthcare datasets
发现论文，激发创造
  • CASS: 跨结构自监督用于医学图像分析

    本论文介绍 Cross Architectural - Self Supervision (CASS), 一种同时利用 Transformer 和 CNN 的新型自我监督学习方法。实验证明，与现有自我监督学习方法相比，CASS 训练的 CNN 和 Transformer 在四个不同的数据集上提高了平均 3.8%（有 1% 的标注数据），5.9%（有 10% 的标注数据）和 10.13%（有 100% 的标注数据），同时花费了少达 69％的时间。同时，CASS 对批量大小和训练时期的改变更具有鲁棒性。

    Jun, 2022

  • 跨架构正对增强自监督学习效果

    本研究采用交叉神经网络和 CNN 的自我监督学习方法（CASS），相比现有的状态 - of-the-art 的自我监督学习方法，在四个不同的数据集上表现更好，而且时间更短，对于批量大小和训练时期的更改也更具鲁棒性，开源的代码可以在指定的 URL 下载。

    Jan, 2023

  • 跨架构自监督视频表示学习

    本文提出一种新的跨架构对比学习（CACL）框架，用于自监督视频表示学习，使用 3D CNN 和视频变换器并行生成对比学习中多样化的正对，同时引入了一个具有明确视频序列编辑距离预测能力的时间自监督学习模块，用于学习强大的时序性表示，在 UCF101 和 HMDB51 数据集上表现卓越，超越 VideoMoCo 和 MoCo + BE 等现有技术。

    May, 2022

  • 使用自监督预训练的十字形窗口变换器，在双参数磁共振成像中检测临床上显著的前列腺癌

    本研究通过引入自监督预训练框架，提出了一种全新的端到端 Cross-Shaped windows (CSwin) transformer UNet 模型，用于检测临床重要的前列腺癌症，通过在大量未标记的数据上进行学习，提高数据效率和网络的泛化能力，成功地提高了模型性能。

    Apr, 2023

  • 自监督视觉表示学习再探讨

    该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习， 并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。

    Jan, 2019

  • 通过深度强化学习改进时空自监督

    本研究提出了一种基于强化学习的采样策略，以适应网络状态，自适应采样新的排列，以更新卷积特征表示，进而在图像和视频分类及最近邻检索的标准基准测试中展现了具有竞争力的表现。

    Jul, 2018

  • CaSS：面向多元时间序列分类的通道感知自监督表示学习框架

    本文提出了一种统一的通道感知自监督学习框架（CaSS），通过设计一个新的基于 Transformer 的编码器（CaT）来捕捉 MTS 不同时间通道之间的复杂关系，并结合 Next Trend Prediction（NTP）和 Contextual Similarity（CS）两种新颖的预训练任务来实现自监督学习的表示学习，实验结果表明，与以前的自监督 MTS 表示学习方法相比，我们的框架在几个常用的基准数据集上均达到了新的最优成果（LSST 数据集上提高了 7.70％），并可很好地应用于下游 MTS 分类。

    Mar, 2022

  • 自监督下的稳健高效医学影像

    本文提出了 REMEDIS，采用大规模监督式迁移学习和自监督学习的通用结合方式，用于改善医学图像 AI 的鲁棒性和数据效率，并在各种医学成像任务中展示了显著的表现，说明 REMEDIS 可以加速医学成像 AI 的生命周期，从而有助于医学成像 AI 产生广泛的影响。

    May, 2022

  • 具有辅助增强的自监督学习与引导式投影仪

    本文提出了一种条件增强感知的自监督学习方法（CASSLE），使用投影器网络对图像进行辅助引导，以实现对不同数据扩充方法的感知敏感性，并可获得多项下游任务的最新性能表现。

    May, 2023

  • 基于知识引导的预测架构的 SAR ATR 自监督学习

    通过使用本文提出的具有知识引导预测架构，通过预测未见上下文的多尺度 SAR 特征表示，将传统 SAR 领域特征提取与最先进的可扩展自监督学习相结合，以准确的广义特征表示进行 SAR 目标识别，这一方法在各种下游数据集上验证成功，并在 SAR 目标识别中实现了一致的性能提升。

    Nov, 2023