pre-trained transformers | BriefGPT

关键词pre-trained transformers

搜索结果 - 33

变压器作为无线通信中高效的上下文估计器
通过以前训练好的 transformers 模型，本研究提出了一种名为 in-context estimation 的新方法，用于在通信问题中的传输符号估计，发现 transformers 在上下文补全方面表现优异，能够隐式确定潜在上下文并
PDF7 months ago
使用本能：利用神经武士和变形金刚的指导优化
使用神经劫持算法优化预训练 transformer 模型的指令，以提升大型语言模型在不同任务中的性能。
PDF8 months ago
分割、对齐、选择：一种用于 Transformer 的简单长序列处理方法
通过将每个长序列输入分割成一批块，并在编码步骤中对块间信息进行对齐，我们提出了一个简单的框架，使通用的预训练 Transformer 能够处理更长的序列，同时计算和内存成本与输入序列长度线性增长。通过在每个编码 Transformer 模块
PDF9 months ago
大型预训练模型中基本稀疏性的出现：重要的权重
本文 comprehensively 研究了 multiple pre-trained vision and language transformers 的 induced sparse patterns，进一步导出了 essential
PDFa year ago
对抗性净化的预训练变压器
该论文提出了一种新的场景 RaPiD（Rapid Plug-in Defender），旨在使用少量干净和对抗性示例针对冻结原始服务模型快速捍卫某种攻击，提出了一种新的防御方法 CeTaD（Considering Pre-trained Tr
PDFa year ago
ACL对话生成的白盒多目标对抗攻击
通过提出一种名为 DGSlow 的白盒多目标攻击方法，该方法通过梯度优化来平衡生成精度与长度，并通过适应性搜索机制来逐步制作仅有几个修改的对抗样本，并将其用于四个基准数据集的全面实验，成功率比传统的以准确性为基础的方法更高，同时还展示了强大
PDFa year ago
使用多语言预训练变压器量化文本情感的价值和唤起程度
本研究利用预训练转换器对多语言和多领域的输入文本进行情感分析，使用基于趋势 - 唤醒维度的情感分析方法，比传统方法更细致地区分不同的情感，并发现模型大小对预测质量有显著影响，可自信地预测不同语言的趋势性和唤醒性。
PDFa year ago
FedTune：使用预训练 Transformer 进行高效联邦微调的深入探究
本文研究了如何有效地在联邦学习中使用预训练 Transformer 模型及其微调方法，实验结果表明，微调模型的偏置项是最好的策略，并且使用视觉 - 语言模型会比纯视觉模型的性能更好，且能提高模型精度并减少过拟合问题。
PDF2 years ago
使用预训练变形器处理长法律文件：修改 LegalBERT 和 Longformer
本研究探讨了两个方向来处理长篇的法律文本：一是修改从 LegalBERT 启动的 Longformer 以处理更长的文本，二是修改 LegalBERT 以使用 TF-IDF 表示。结果发现，第一个方法表现最佳，在 LexGLUE 中胜过 L
PDF2 years ago
看、规划、预测：语言引导的视频预测认知规划
通过自然语言引导视频预测，我们提出了一种新的视觉预测结构，使得计算机可以通过语言输入来分解高级任务计划，并且使用预先训练好的 transformers 使得模型具有一定的任务泛化能力，实验表明，这种结构相对于不具有任务规划或动作引导的基线模
PDF2 years ago
Aggretriever：一种用于稳健稠密段落检索的简单文本表示聚合方法
本研究采用一种简单的方法，有效地将预训练转换器中的文本表示聚合成稠密向量，从而提高了在不同领域和零样本评估下单向量方法的鲁棒性，进而表明 MLM 预训练变形金刚可以用于将文本信息编码成单个向量以进行密集检索。
PDF2 years ago
CVPR基于合成数据的实例分割的并行预训练 Transformer (PPT)
本文提出了一种并行预训练 Transformer（PPT）框架，利用模拟渲染和物理学生成高质量的图像注释对，实现基于合成数据的实例细分任务。该方法采用现成的预训练视觉 Transformer 来缓解自然与合成数据之间的差距，从而在少量样本的
PDF2 years ago
BiT: 坚固的二值化多蒸馏 Transformer
本文提出一种改进的二元转换器方法，通过引入一种新型的弹性二元激活函数、两种二元化方案以及一种逐步压缩高精度模型的方法，实现了在实际精度水平下的完全二元化转换模型，并在 GLUE 语义理解基准测试上取得了接近完全精度 BERT 基线的成果。
PDF2 years ago
使用 Venn-ABERS 预测器校准自然语言理解模型
本文提出了在少量假设条件下构建多个感知 - ABERS 预测器 (IVAP) 的方法，该方法基于预训练的 Transformers 模型，保证了其预测是良好校准的。我们在多个自然语言理解任务上测试了它们的性能，并展示了这些预测器的预测结果可
PDF2 years ago
OPT：开放预训练 Transformer 语言模型
我们呈现了 Open Pre-trained Transformers (OPT)，一个解码器型的预训练 transformers 套件，范围从 125M 到 175B 个参数，这些我们希望与感兴趣的研究人员完全和负责任地分享。我们展示了
PDF2 years ago
生物医学事实型问题回答的数据增强
本文研究七种数据扩增方法在事实型问题回答中的作用，着重于生物医学领域以及数据难以获得的情况。作者从 BioASQ 挑战赛中获取数据，然后通过人工智能技术和其他方法进行扩增。实验证明，即使在使用大型预训练模型时，数据扩增也会带来非常显著的性能
PDF2 years ago
预训练变形金刚在文本排名中的差异性如何？
本研究分析了基于 BERT 的交叉编码器与传统 BM25 排名在段落检索任务中的效果，发现它们在相关性概念上存在重要的差异，旨在鼓励未来改进研究。
PDF2 years ago
BERT 模型是否学会使用浏览器用户界面？通过统一的视觉 - 语言 BERT 模型探索多步骤任务
本文探讨了一种结合图形用户界面（GUI）的预训练 Transformer 模型的框架，该框架可以通过多步骤的方式执行多个任务，使用 BERT 扩展来训练该模型，结果表明还有提高其泛化能力的空间。
PDF2 years ago
具有 Transformer 的内存高效的持续学习
使用预训练 Transformers 并扩展它们与 Adapters，我们开发了一种方法来增量训练模型处理任务序列，成功地避免了灾难性遗忘并且在多个任务上表现良好。
PDF2 years ago
语言的黑暗面：预训练变形器在 DarkNet 中的应用
通过对 DarkNet 语料库上的分类任务探索，研究比较了不同预训练自然语言理解模型的表现，结果发现句法和词汇神经网络在适应新颖语义时优于预训练 Transformer 模型。
PDF2 years ago