pre-training models | BriefGPT

关键词pre-training models

搜索结果 - 28

FPT：用于高分辨率医学图像分类的参数和内存高效微调的细粒度提示调整
提出了一种用于医学图像分类的精细化提示调整（FPT）的参数高效调整方法，FPT 相较于其他参数高效调整方法明显降低了内存消耗，并通过引入精细化提示和重要标记选择等技术降低了训练成本和内存需求。
PDF4 months ago
多器官自监督对比学习用于乳腺病变分割
利用自我监督学习和对比学习的方法，在医学成像等标注稀缺的领域中学习表征已被证明是一种有效的方式。本研究通过探索一种新的思路 —— 使用多器官数据集来为特定器官相关目标任务预训练模型，旨在推进我们对对比学习框架的理解。具体而言，我们的目标任务
PDF4 months ago
ICLR基于混合簇条件专家的任务定制化遮蔽自编码器
提出了一种新的基于混合的聚类条件专家（MoCE）的 MAE 预训练范式，为不同的下游任务提供定制化的预训练模型，通过使用聚类条件门将每个专家仅与语义相关的图像进行训练，从而克服了 MAE 可扩展性中的负迁移问题。
PDF5 months ago
通用自监督预训练的三维随机场景生成
为了解决实际场景 3D 数据获取困难的问题，本文通过研究不同的数据生成方法并使用统一的评估体系，评估了不同预训练模型在多个任务中的表现，比如物体检测和语义分割，并提出了一种新的基于球谐函数的 3D 场景生成方法，在性能上超越了以往的方法，并
PDFa year ago
开放领域视觉实体识别：朝着识别数百万维基百科实体迈进
本文正式提出了开放域视觉实体识别（OVEN）这一任务，为评估预训练模型的普适性，构建了一个最大标签数量的通用视觉识别基准数据集。该数据集将 14 个现有的数据集标签全部调整为维基百科实体，其中包含了六百万个可能的实体，我们在此基础上测试了一
PDFa year ago
AAAI通过对比预训练实现对数学问题的全面理解
本研究提出了一种新的数学问题对比预训练方法 QuesCo，该方法利用知识层次结构感知的排名策略来更好地表示数学问题，并进行了广泛的实验以证明其有效性。
PDFa year ago
ACL利用 Context-to-Vector 和 Graph Retrofitting 改进词嵌入
通过将上下文信息与传统静态嵌入相结合，以及使用预先的同义词知识和加权向量分布来提高词嵌入的效果。
PDF2 years ago
融合预训练范式的抗体序列 - 结构协同设计
本文提出了一种基于预训练模型的计算抗体设计方法，通过对抗体序列数据的预先训练，结合一种一次性的序列 - 结构生成方法和精心设计的模块，成功地生成了具有高性能的抗原特异性抗体。
PDF2 years ago
利用模型仓库 ZooD 实现超出分布常规化
本文提出了一种针对预训练模型的评估和组合范式，其中采用特征选择方法排名预训练模型，并将排名最高的模型聚合为目标任务的模型，最终在 35 种模型上展示了该方法的效果。
PDF2 years ago
客服对话的统一知识提示预训练
本篇论文提出了一种创新的统一知识提示预训练框架 UFA（Unified Model For All Tasks），系统地解决了客户服务对话任务中的各种需求，通过混合不同的对话任务进行学习，显著提高了自然语言理解和生成的基准。
PDF2 years ago
使用大型预训练语言模型的低资源命名实体识别：SemEval-2022 任务 11 中的 SFE-AI
本文描述我们在 SemEval 2022 任务 11 中使用 Transformer 层自适应地整合多个预训练语言模型进行实体识别，在波斯语和荷兰语方面表现优异。
PDF2 years ago
停止过滤：多视角属性增强式对话学习
This paper presents a framework that pre-trains conversation models on raw dialogues and fine-tunes with adapters instea
PDF2 years ago
ANNA: 增强语言表达能力用于问答
本文中，我们展示了数据处理、预训练任务、神经网络建模或微调的方法如何单独影响性能，以及当这些方法共同考虑预训练模型时，语言模型在特定的问答任务上表现出最佳结果；具体地，我们提出了一种扩展的预训练任务和一种新的邻居感知机制，能更多地关注邻近的
PDF2 years ago
X-Learner: 学习跨源和跨任务的通用视觉表征
本文提出了一种名为 X-Learner 的表示学习框架，该框架可以对多种视觉任务进行监督学习，使得在不需要额外注释、计算成本和模态的情况下，可以在不同的任务上表现出色。
PDF2 years ago
VLP：视觉语言预训练综述
本文调查了最近关于视觉 - 语言预训练 (VLP) 的进展和新前沿。这是第一篇关注 VLP 的综述文章，并对 VLP 模型做了具体总结，旨在为 VLP 领域的未来研究提供启示。
PDF2 years ago
ICLROntoProtein: 基因本体嵌入的蛋白质预训练
OntoProtein 是第一个将 GO 结构应用于蛋白质预训练的通用框架，通过与知识图谱和蛋白质嵌入的联合优化，能够优化蛋白质表示并在蛋白质相互作用和蛋白质功能预测方面实现更好的性能。
PDF2 years ago
自监督预训练是否需要大规模数据集？
本研究探讨了只利用目标任务数据的自监督预训练方法，结果显示与 ImageNet 预训练相比，使用我们介绍的变种 BEiT 的降噪自编码器方法更适合于类型和数据大小各不相同的预训练数据，这种方法在使用 COCO 数据进行预训练时，检测和实例分
PDF3 years ago
CVPREMScore: 通过粗粒度和细粒度嵌入匹配评估视频字幕
本研究提出一种基于嵌入匹配的视频字幕参照无关评估度量 EMS，结合粗细粒度的视频字幕匹配、基于大规模预训练模型的视觉语言嵌入等技术，更准确地衡量视频与候选字幕之间的相似度，并在 VATEX-EVAL 数据上进行了实验验证。
PDF3 years ago
ACL无需模板的少样本命名实体识别指令微调
本文提出了一种更优雅的方法，将 NER 任务重新制定为 LM 问题，同时探索了自动搜索合适的标签词的方法，该方法避免了复杂的基于模板的过程，并且实验证明其在少量样本情况下表现更佳，并且解码速度比基于模板的方法快了 1930.12 倍。
PDF3 years ago
EMNLP知识增强微调：更好地处理对话生成中的未知实体
本篇论文提出了通过外部知识库训练对话系统，解决无法预测未知实体的问题，具有良好的实验效果。
PDF3 years ago