对基础模型在密集识别任务中的当前应用的批判性视角

Jul, 2023

对基础模型在密集识别任务中的当前应用的批判性视角

A Critical Look at the Current Usage of Foundation Model for Dense Recognition Task

Shiqi Yang, Atsushi Hashimoto, Yoshitaka Ushiku

TL;DR近年来，大型模型在大量跨模态数据上的训练中取得显著成果，尤其在图像识别和生成等领域，但尚不清楚这些基础模型是否可应用于其他不同的下游任务。本文对建立在预训练基础模型之上的区分性密集识别任务的当前方法进行了简要调查，并对一种基于稳定扩散的现有开放词汇分割方法进行了初步的实验分析，结果表明当前的扩散模型在分割问题上的部署方式并非最优。旨在为未来采用基础模型进行下游任务的研究提供见解。

Abstract

In recent years large model trained on huge amount of cross-modality data, which is usually be termed as foundation model, achieves conspicuous accomplishment in many fields, such as image recognition and generat

foundation model cross-modality data discriminative dense recognition tasks open-vocabulary segmentation method diffusion model

发现论文，激发创造

基础模型的有效时机：利用多光谱图像进行像素级分类的适用性研究

基础模型在遥感任务中的适用性取决于自监督学习任务与实际下游任务的一致性，而传统机器学习模型在某些场景下表现得更好，尤其是在纹理不适用于分类的任务中。

Apr, 2024

基于基础模型的医学图像分析的挑战和展望

本文讨论了大规模预训练模型，即基础模型，用于分析医学图像的机遇、应用和未来方向。具体而言，我们说明了医学基础模型的 “光谱”，从一般的视觉模型、模态特异性模型到器官 / 任务特异性模型，强调它们的挑战、机会和应用，以此来提高医学图像分析的准确性和效率，从而促进更加精确的诊断和治疗决策。

Jun, 2023

何时称为基础模型的基础模型

最近，在医学领域中，有几项研究报道了利用像推特和 PubMed 这样的在线数据来源中的图像对基础模型进行微调以进行图像 - 文本建模。基础模型是能够通过在非常广泛的数据集上训练来学习特定领域上下文的大型深度人工神经网络。通过验证，我们观察到，与显著较小的传统深度网络生成的表示相比，这些模型生成的表示在数字病理学的检索任务中表现出较差的性能。

Sep, 2023

基础模型的机遇与风险

AI 基础模型的兴起，具有广泛数据训练和可适应下游任务的特点，其机制、应用和社会影响需要更多的跨学科合作来研究。

Aug, 2021

医学影像学中的基础模型：综合调查与未来视野

通过提供医学成像领域基础模型的综合概述，本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。

Oct, 2023

基础模型简介：历史、社会和技术焦点

本文介绍了基础模型，深度学习中通过模型大小和训练数据广度和大小的扩展可以对未来的 AI 开发造成破坏。基础模型在各种任务领域（如自然语言处理和计算机视觉）中实现了最先进的性能，并且通过进一步的改进常常得到更好的表现。此外，模型的单一化可能会将众多特定任务的模型替换为由少数公司控制的更少数量的大型模型，从而导致对 AI 的权力和控制的转移，并出现新兴的行为方式：上下文学习。

Dec, 2022

GEO-Bench：地球监测基础模型

本研究针对遥感任务的基础模型研究进行了探讨，提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法，并报告了二十种基线模型的结果，旨在推动地球监测领域的模型进展。

Jun, 2023

前列腺成像分割基础模型的经验分析

对于医学图像分割的基础模型 UniverSeg 进行了实证评估研究，与传统的任务特定分割模型进行了比较，结果和讨论凸显了发展和采用基础模型在医学图像分割领域中的重要因素。

Jul, 2023

CHORUS：统一数据发现和探索的基础模型

研究论文探索了基础模型在数据发现和探索任务中的应用，表明这些模型在表格、列类型和连接列预测等任务上具有卓越能力，并提出了未来将基础模型统一用于不同的数据管理任务的方向。

Jun, 2023

自然领域基础模型在医学图像分类中是否有用？

通过对五种先进的基础模型（SAM、SEEM、DINOv2、BLIP 和 OpenCLIP）在医学图像分类任务中的可转移性进行评估，我们的研究显示了混合的结果。尽管 DINOv2 在不断超越 ImageNet 预训练的标准实践方面表现出色，但其他基础模型未能始终超越此已建立的基线，这表明它们在医学图像分类任务中的可转移性存在限制。

Oct, 2023