pretrained transformer models | BriefGPT

关键词pretrained transformer models

搜索结果 - 12

AAAI加密 Fine-tuning 变压器：使用完全同态加密
通过在完全同态加密数据上进行的训练，提出了 BlindTuner 这一隐私保护的 Fine-Tuning 系统，用于图像分类，并证实其在准确性上与非加密模型相当，并且相对于先前研究在速度上有 1.5 倍至 600 倍的显著提升。
PDF5 months ago
AAAIREAD-PVLA: 低资源视频 - 语言建模中的参数高效迁移学习的循环适配器及部分视频 - 语言对齐
针对预训练大规模 Transformer 模型在视频 - 语言建模任务中存在的存储成本高和训练不稳定等问题，本文提出了一种轻量级适配器方法，通过引入循环计算和部分最优传输来捕捉视频帧和文本单词之间的时间关系，以及保留任务相关信息，并在多个低
PDF7 months ago
EMNLP高效远程 Transformer：你需要参与更多，但不一定是每一层
提出了一种名为 MASFormer 的变种 Transformer 模型，它通过混合的注意力机制在处理长序列数据时既能捕捉到长距离依赖关系，又能在其余层使用稀疏注意力提高计算效率。实验结果表明，该模型在自然语言建模和生成任务中能够达到与全注
PDF8 months ago
基于结构导向的多模态预训练变压器用于知识图谱推理
我们提出了图结构引导的多模态预训练变换器（SGMPT）用于知识图谱推理，它采用图结构编码器来进行结构特征编码，并采用加权求和和对齐约束两种不同策略的结构引导融合模块，将结构信息注入文本和视觉特征，实验证明了 SGMPT 在多模态 KGR 方
PDFa year ago
BudgetLongformer：我们能否以低成本从头开始预训练 SotA 法律语言模型？
通过 Replaced Token Detection 任务提高训练信号量，我们训练了 Longformer 模型来展示使用更少的计算力可以预训练高效的语言模型，并在长文本摘要任务上取得了很好的性能。
PDF2 years ago
检测失落的《米德拉什・坦胡玛》材料的拉比文献风格分类
提出了一个基于 Transformer 模型的针对希伯来文文本的分类系统，并且展示了如何通过该系统找回《Tanhuma》中失落的材料。
PDF2 years ago
EMNLP可解释半监督学习的自动规则归纳
本文提出了自动规则归纳（ARI）框架，该框架可从小型标签数据的机器学习模型中提取符号规则，并使用注意力机制将这些规则整合到高容量的预训练变压器模型中，从而提高弱监督和半监督 NLP 算法的性能和可解释性，并通过对 9 个序列分类和关系提取任
PDF2 years ago
零 - shot 泛化哪种语言模型架构和预训练目标最佳？
通过大规模模型比较和实验验证，本文发现预训练的 Transformer 模型在自然语言处理任务的零样本泛化能力中，部分结构和预训练目标优于其他模型，这为模型架构和目标选择提供了指导。同时，本文研究了预训练模型跨结构和目标的迁移，并提供源代码
PDF2 years ago
ACL利用项目反应理论比较测试数据集
本文通过 Item Response Theory 方法对 18 个预训练 Transformer 模型在 29 个 NLP 数据集上进行实验，结果显示 Quoref，HellaSwag 和 MC-TACO 数据集更适合用于区分最先进的 N
PDF3 years ago
ACL多语言语言模型预测人类阅读行为
本文研究利用大型语言模型来预测人类阅读行为，并比较了针对特定语言和多语言的预训练变压器模型在预测荷兰语、英语、德语和俄语文本上反映自然人类句子处理的阅读时间测量方面的表现。结果显示，变压器模型可以准确地模拟人类阅读行为，预测出了各种眼动特征
PDF3 years ago
PARADE：用于文档再排序的段落表示聚合
本文研究了如何将文档的段落级别的相关信号聚合成最终的排名分数，提出了新的 PARADE 方法，证明了它可以显著提高广泛信息需求的文集的结果，同时，也探索了提高基于 Transformer 聚合效率的方法。
PDF4 years ago
评估知识图谱上下文对实体消歧模型的影响
本篇文章提出了一种基于知识图谱（如 Wikidata）的上下文推断方法，以提高预训练 transformer 模型在实体消歧（Named Entity Disambiguation）方面的性能，并通过实验证明该方法可以推广到维基百科，并显著
PDF4 years ago