pretrained model | BriefGPT

关键词pretrained model

搜索结果 - 61

少样本高保真原型的医学图像分割
提出了一种新颖的 Detail Self-refined Prototype Network（DSPNet）用于构建全面表示目标前景和背景的高保真原型，以解决医学图像中具有复杂背景且对象不明显的情况下，已有模型在 few-shot 语义分割
PDF6 days ago
JEN-1 梦幻造型师：通过关键参数调整实现个性化音乐概念学习
通过精调预训练的文本到音乐模型，本论文提出了一种新的方法来进行定制化的文本到音乐生成，利用参考音乐中的概念生成符合该概念的新音乐，并通过关键参数调整解决过拟合问题，同时提出概念增强策略以区分多个概念，该方法在定性和定量评估中优于其他基线模型
PDF14 days ago
初始化对 LoRA 微调动态的影响
该篇论文研究了初始化在低秩适应（LoRA）中的作用，结果显示将 B 初始化为零且将 A 初始化为随机可以比其他方案获得更好的性能。
PDF20 days ago
构建多功能行人知识库实现鲁棒性行人检测
本文提出了一种构建通用行人知识库的新方法，通过从大规模预训练模型中提取泛化行人知识并对其进行精确化处理，用于增强行人检测框架内的行人特征，实验证明该方法的多功能性和优于最先进的检测性能。
PDF2 months ago
基于语言和领域的大型语言模型的预训练和更新：一个日本商业领域的案例研究
本研究通过结合非英语语言和高需求产业领域的研究，探讨了一种特定于日本商业领域的大型语言模型（LLM）。我们从头开始训练了一个 130 亿参数的 LLM，使用了一组新的商业文本和专利，并持续使用最新的商业文件进行预训练。随后，我们提出了一个新
PDF3 months ago
基于归一化流的特征密度估计用于异常检测
基于特征密度估计和正态流的无监督型外分布检测方法可应用于任意预训练模型，通过密度阈值实现检测，并在图像分类中表现出强大的远外分布数据检测结果，包括 ImageNet-1k 与纹理的 98.2% AUROC，超过现有技术 7.8%。我们还探讨
PDF5 months ago
低秩注意力侧调整：参数高效微调
通过冻结预训练模型的参数和输出，Low-rank Attention Side-Tuning (LAST) 将可训练模块与预训练模型解耦，通过学习预训练模型的中间输出并专注于学习任务特定的知识，从而实现大大减少 GPU 内存和训练时间的高效
PDF5 months ago
大型语言模型的交叉注意力水印技术
语言模型的语言水印技术通过交叉注意力机制在输出文本中嵌入信息，保持其可读性和原始含义，本文提出了两种使用交叉注意力的方法，最小化对预训练模型性能的影响。研究了优化水印技术的不同训练策略以及在实际应用中的挑战和影响，阐明了水印鲁棒性和文本质量
PDF6 months ago
权重子克隆：使用更大预训练模型直接初始化 Transformer
用权重子克隆（weight subcloning）技术从大型预训练模型中初始化规模较小的转换器模型，实现训练速度的显著提升。
PDF7 months ago
通过可学习区域实现基于文本的图像编辑
这篇论文介绍了一种基于文本提示的区域图像编辑方法，无需用户提供的掩码或草图，通过利用现有的预训练文本到图像模型和引入边界框生成器来找到与文本提示对齐的编辑区域，实现了与当前图像生成模型兼容的灵活的编辑，并处理了包含多个对象、复杂句子或长段落
PDF7 months ago
少即是多：预训练模型在少样本任务中的特征冗余
使用预训练模型进行线性探测，当下游数据稀缺或少样本时，预训练特征可能是非常冗余的；而在少样本任务中，只使用最重要的特征维度的 1% 就能恢复与使用完整特征表示所达到的性能。根据理论分析，高方差和类中心之间距离较小的特征维度可能是影响少样本转
PDF9 months ago
VEATIC：基于视频的情感和情绪跟踪上下文数据集
通过引入一个新的大型数据集 VEATIC，作者提出了一个新的计算机视觉任务来推断每个视频帧中选择角色的情感，同时提出了一个简单的模型来评估这个任务，并与其他类似数据集的性能进行比较，实验证明了 VEATIC 的泛化能力。
PDF10 months ago
ICCV基于预训练模型的半监督学习的渐进特征调整
建议使用伪标签从无标签数据中更新特征提取器，以解决预训练特征表示所带来的偏见，并通过实验证明该方法优于现有解决方案。
PDF10 months ago
促进学习是否有利于放射学报告生成？
本文介绍了 PromptRRG，一种利用提示学习激活预训练模型并结合先前知识的辅助放射学报告生成方法，并通过对 Prompt 设计的研究将其分为常见提示、领域特定提示和疾病丰富提示等级。在最大的放射学报告生成基准 MIMIC-CXR 上进行
PDF10 months ago
一种适用于中文医学标点恢复的小型且快速的 BERT 模型
基于 “预训练和微调” 范式的快速轻量级中文医学标点还原模型，通过引入监督对比学习和新颖的辅助预训练任务（标点符号预测），蒸馏预训练模型以适应标点还原需求，实验表明，该模型在相对于最先进的中文 RoBERTa 模型的 10% 模型尺寸下能够
PDF10 months ago
ACL通过促进任务专业化来提高多任务检索
通过选择更好的预训练模型和兼容的提示以及新颖的自适应学习方法，我们可以训练一个多任务检索器，从而促进任务专业化，并在 KILT 基准测试中表现出高性能。
PDFa year ago
Fed-ZERO: 基于联邦专家混合的零样学习个性化方案
本文提出了一种在 Federated Learning 框架下使用混合专家（Mixture-of-Experts）框架来实现零 - shot 个性化的方法。使用此方法时，我们的模型在保持零 - shot 表现的同时，可以在端到端过程中加入预
PDFa year ago
通过名人基础插入任何人物的扩散模型
研究提出了一种新的个性化方法，通过向先前训练好的扩散模型中添加唯一人物的面部照片和仅有 1024 个可学习参数，能够轻松地生成与任何文本提示想象的任何姿势或位置互动的惊人图像，其中使用了明星精神基础，并可以同时学习多个新身份并相互交互。
PDFa year ago
探索无人类标签的开放词汇语义分割
该论文介绍了一种使用预训练的图像 - 语言模型进行零样本学习的语义分割方法，将预训练模型中的视觉概念知识转化为分割区域的语义信息表示（即 segment tokens）并应用于视觉语义分割任务中。实验结果表明，该方法在多个公共基准数据集上可
PDFa year ago
DUBLIN -- 语言 - 图像网络理解文档
通过预训练 DUBLIN 模型，利用文档图像中的空间和语义信息，包括 Masked Document Content Generation Task、Bounding Box Task 和 Rendered Question Answeri
PDFa year ago