large-scale pre-trained language models | BriefGPT

关键词large-scale pre-trained language models

搜索结果 - 8

用辅助文本描述的跨模态注意力对齐网络用于零样本基于素描的图像检索
本文研究零样本基于手绘图像检索（ZS-SBIR）问题，利用大规模预训练语言模型为图像提供辅助文本描述，通过交叉注意力机制在文本 - 手绘图像和文本 - 真实图像之间进行特征交换和对齐，实现零样本泛化能力，实验结果显示在三个基准数据集上，相比
PDF3 days ago
QuanTA：量子信息张量调整下高级别语言模型的高效微调
该研究提出了一种名为量子指导张量适应（QuanTA）的新型、易于实现、没有推理开销的微调方法，引入了量子电路结构的量子启发方法，实现了有效的高秩微调，超越了低秩适应方法（LoRA）在复杂下游任务中可能失败的局限性。实验表明，与传统方法相比，
PDFa month ago
基于语料库主题分类的专题应用检索改进
使用语料库主题分类系统的插入式框架 ToTER，通过指导查询和文档的核心主题并利用它们的主题相关性来补充缺失的上下文，提高主题特定应用中文档检索的效果。
PDF4 months ago
EMNLP贝叶斯多任务转移学习用于软提示调优
我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。
PDF5 months ago
EMNLP基于检索的知识迁移：一种有效的极端大型语言模型压缩方法
我们介绍了一种称为 Retrieval-based Knowledge Transfer (RetriKT) 的新型压缩模型的方法，通过从大规模预训练语言模型中提取知识，构建一个知识存储库，小规模模型可以从中检索相关信息并利用它进行有效推理
PDF8 months ago
自然语言就是图的应有之义
我们提出了 InstructGLM（指导调整的图语言模型），基于自然语言说明系统地设计高度可扩展的提示，使用自然语言描述图的几何结构和节点特征，通过指导调优语言模型以一种生成方式在图上执行学习和推理，超过了所有竞争的 GNN 基准数据集，证
PDFa year ago
IJCAIMAT：对抗性 Fine-tuning 的混合策略博弈
本文提出一种基于 Mixed-strategy Adversarial Training algorithm（MAT）的新型预训练语言模型微调方法，通过引入 Nash 均衡和熵镜像下降算法，并在大规模预训练模型（如 BERT 和 RoBER
PDFa year ago
不可能三角形：预训练语言模型的下一步是什么？
本文介绍了如何改进预训练语言模型在 NLP 任务中的表现，探讨了使用预训练语言模型中存在的问题，并提出了解决方法。同时，讨论了如何在未来研究预训练模型的发展方向和目标。
PDF2 years ago