Oct, 2023

MELEP: 多标签心电图分析中一种新的可迁移性预测度量

PDF
TL;DRMELEP 是一种用于多标签 ECG 分类问题的转移度量标准，可以估计从预训练模型到下游任务的知识转移效果，并且与微调模型的实际平均 F1 分数之间存在较强的相关性。
meleptransferability metricmulti-label ecg classificationpre-trained modelf1 scores
发现论文，激发创造
  • LEEP：评估学习表示可迁移性的新度量

    介绍了一种新的测量方法，能够评估分类器学习的表示的可转移性，该方法称为 LEEP，能够预测转移学习和元转移学习的性能和收敛速度。LEEP 优于一些最近提出的可转移性指标，可以在从 ImageNet 到 CIFAR100 的转移学习中实现高达 30% 的准确性提升。

    Feb, 2020

  • LogME: 预训练模型的实用评估与迁移学习

    本文提出了一种名为 LogME 的方法，用于评估预训练模型的转移学习性能，相对于基于粗暴的微调方法，LogME 方法在时空效率和内存使用上都有很大的提升，而且适用于不同类型的模型和任务。

    Feb, 2021

  • 证据 > 直觉：编码器选择的可转移性估计

    本文提出了一种量化方法 - 最大证据对数 (Logarithm of Maximum Evidence), 以预测在目标任务上表现最好的语言模型，通过与人工排名进行比较，本文发现来自定量指标的证据更加稳健，并且可以帮助识别出意想不到的最佳语言模型候选项。

    Oct, 2022

  • MiME：电子健康记录的多级医学嵌入用于预测性医疗

    本文介绍一种基于 EHR 数据的多级医疗嵌入模型（MiME），该模型可以有效地解决由于数据量不足而导致的医疗预测任务的问题，并且在心衰预测和序列疾病预测方面表现出极好的性能。

    Oct, 2018

  • 转移度量评估的稳定性如何？

    通过大规模实验研究，聚合不同实验结果并提出 LogME 转移度量法，发现在语义分割场景中选择良好的源数据集、在图像分类场景中选择良好的源体系结构以及确定哪个目标任务最受益于给定的源模型的最佳转移度量法是 LogME、NLEEP 和 GBC，但没有一种单一的转移度量法能够在所有场景中表现最佳。

    Apr, 2022

  • MEP：多核学习增强相对位置编码长度外推

    当预测序列长度超过训练期间观察到的长度时，transformer 的推断准确性会降低。本研究基于 ALiBi 方法，提出了一种新的相对位置编码方法 MEP，它结合了不同的核函数（如指数核函数和高斯核函数）通过加权平均组成一个偏置，应用于后 softmax 注意力分数，实现了长度推知挑战的解决。实验证明，我们方法的两个版本都达到了最先进的性能，在各种数据集上优于传统的无参数和参数化方法。

    Mar, 2024

  • 多样性增强主动学习的均值适当得分的贝叶斯估计

    提出了一种基于贝叶斯估计的增加严格适当得分的方法 BEMPS，用于在主动学习中估计严格适当得分的增加，该方法在实验证明了其较其他方法更强大和更具鲁棒性，并通过定性分析得到了支持。

    Dec, 2023

  • LEAPER: 基于 FPGA 的系统性能快速准确预测通过迁移学习

    LEAPER 是一种基于转移学习的方法，用于预测 FPGA 系统中的性能和资源使用率，通过将低端边缘环境训练的性能和资源使用率模型转移到新的高端云环境来提供快速准确的预测。实验结果表明，LEAPER 在云环境中使用传输模型进行预测时，在六种工作负载和五个 FPGA 的情况下，平均准确率为 85％，并且将 FPGA 加速器实现的设计空间探索时间从几天缩短为几个小时。

    Aug, 2022

  • ETP: 通过 ECG-Text 预训练学习可迁移的心电图表示

    在心血管保健领域，心电图 (ECG) 作为一种关键的非侵入性诊断工具。本研究提出了 ECG-Text 预训练 (ETP) 框架，通过将 ECG 信号与文本报告联系起来，学习跨模态表示。该框架在线性评估和零样本分类任务中表现出色，在 PTB-XL 和 CPSC2018 数据集上展示了其鲁棒性和泛化性能。

    Sep, 2023

  • 基于长期电子健康记录的标记有效的事件表型鉴定 (LATTE)

    本研究提出一种 LAbel-efficienT incidenT phEnotyping (LATTE) 算法，旨在通过使用病程数据中的先前训练的语义嵌入向量作为先验知识，并使用反向传播和半监督联合学习，从而准确注释临床事件的时间，从而提高电子健康记录 (EHR) 数据支持真实世界证据 (RWE) 研究的可靠性。通过在三个分析中进行评估，在所有设置中，LATTE 相对于基准方法（如 SAMGEP 和 RETAIN）均获得了实质性的改进。

    May, 2023