transformer-based pre-trained models | BriefGPT

关键词transformer-based pre-trained models

搜索结果 - 7

SPAFIT: 分层渐进调适微调预训练大型语言模型
本研究提出一种基于模型不同层次具有语言知识定位的 PEFT 方法，称为 Stratified Progressive Adaptation Fine-tuning（SPAFIT）。我们在 GLUE 基准测试中进行的实验证明，我们的 SPAF
PDF2 months ago
视觉语言模型中的社会偏见调查
近年来，机器学习模型，特别是基于 Transformer 的预训练模型，对自然语言处理和计算机视觉领域产生了革命性的进展。然而，研究人员发现这些模型可能无意中捕捉和强化其训练数据集中存在的社会偏见，导致资源分配不平等和特定社会群体的不公平代
PDF9 months ago
通过不匹配关系推理进行图像文本匹配
本文介绍了 Grounded Image Text Matching with Mismatched Relation（GITM-MR），这是一种评估基于 Transformer 的预训练模型的关系理解能力的新颖的视觉 - 语言联合任务。G
PDFa year ago
AUG-FedPrompt: 基于数据增强 Prompt 的实用 Few-shot 联邦 NLP
本研究提出了一种基于数据增强的联邦学习算法 AUG-FedPrompt，针对 NLP 中数据稀缺和隐私保护等问题，使用少量有标签数据与海量无标签数据训练，可在联邦学习任务中取得与使用全部有标签数据进行微调一致的表现。
PDF2 years ago
使用 ELBERT 的快速准确 FSA 系统：高效轻量级 BERT
提出一种旨在加速 GPU 平台上 BERT，以解决金融情感分析中速度和准确性问题的高效轻量级 BERT 和创新的基于置信窗口的早期退出机制。实验结果表明，使用该加速方法，系统的处理速度可以提高近 40 倍，达到 1000 多个文本每秒。
PDF2 years ago
EMNLP通过依存增强预训练模型和自适应融合来提高语义匹配
该论文提出了一种将依赖性结构有效整合到预训练模型中用于更好地建模复杂语义匹配关系的方法，即依赖增强自适应融合注意力方法（DAFA），并将其应用在 BERT 上，在 10 个公共数据集上实现了最先进或具有竞争性的性能。
PDF2 years ago
EMNLPRoR：长文档机器阅读理解中的逐字阅读
提出 RoR 方法，从块到文档扩展阅读范围，它包括块阅读器和文档阅读器，并且在两个基准测试 QuAC 和 TriviaQA 上进行的大量实验表明了 RoR 对于长文档阅读的有效性。
PDF3 years ago