transformer-based pre-trained language models

关键词transformer-based pre-trained language models

搜索结果 - 11

BERT 和 DistilBERT 中导致性别偏见的结构研究
基于大型 Transformer 预训练语言模型（PLM）的研究已经改变了自然语言处理（NLP）领域，但这种性能提升伴随着复杂性的增加，以及模型规模的限制。本文通过对两个问题的实证研究探索了 BERT 和 DistilBERT 中性别偏见的
PDF6 months ago
MoSECroT: 跨语言零样本迁移的静态词向量模型拼接
使用静态词向量和相对表示构建共同空间进行跨语种零 - shot 传输，虽然提出的模型在处理 MoSECroT 方面与弱基准模型相竞争，但无法与强基准模型相同的结果竞争。
PDF6 months ago
MLP 指南针：当 MLP 与 PLM 相结合时学到了什么？
本研究探讨了使用多层感知器（MLPs）模块是否可以进一步提高预训练语言模型（PLMs）捕捉语言信息的能力，实验结果表明 MLPs 确实可以增强 PLMs 对语言结构的理解能力。
PDF6 months ago
关于 Transformer 中主动学习数据集可迁移性的研究
本文研究主题为探究主动学习中数据集可迁移性的影响因素，结果表明，使用相似的问询顺序能够获得高度可迁移的数据集，掌握掌握合适的主动学习方法比选择合适的模型更加重要。
PDFa year ago
ACLGIFT: 基于图的多方会话理解 Fine-Tuning
通过设计四种边将图诱导信号引入注意力机制，我们提出了一种名为图诱导微调 (GIFT) 的轻量级方法，可用于多方对话的普适性理解。通过将其应用到三个预训练的语言模型中，我们发现 GIFT 可以在三项下游任务中显着提高模型性能，仅每层编码增加
PDFa year ago
ACL通过减少表示混淆实现更好的预训练
本文重新研究了基于转换器的预训练语言模型，并找出了位置编码和模型表示中的两种不同类型的信息混淆，提出了 DDRP 编码和 MTH 预训练目标来改进预训练语言模型，并通过对 GLUE 基准测试的大量实验和消融研究表明了这种改进方法的有效性。
PDF2 years ago
在印度法律文本上进行的预训练转换器
本文介绍了在印度法律文本上进行预训练的基于 Transformer 的 PLMs，并在多个基准法律 NLP 任务上运用了这些 PLMs，结果表明这些印度特定的 PLMs 非常有用。
PDF2 years ago
习惯用语检测的高效样本方法
本篇研究旨在探究识别成语化多词表达的高效方法，通过 Pattern Exploit Training 和 BERTRAM 两种少样本分类方法，以及探索不在训练数据中的多词表达的识别，提高英语的表现，但对葡萄牙语和加利西亚语的效果较差。
PDF2 years ago
EMNLPSideControl: 通过 Additive Side Networks 控制开放域对话生成
该论文提出了一种名为 SideControl 框架的新方法，该方法可以控制 Transformer 预训练语言模型的生成，具有更好的可控性、更高的生成质量和更好的样本效率，适用于极少量的训练数据。
PDF3 years ago
重构网络剪枝 -- 在预训练和微调范式下
本论文研究在 NLP 领域中，对预训练的 Transformers 模型采取稀疏剪枝 (sparse pruning) 技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感
PDF3 years ago
ACL基于自注意力头的无监督成分句法分析
本研究使用 Transformer-based pre-trained language models 并提出一种全新的无监督分析方法，通过引入一个高排名头部的集合，用于从语法角度分析 PLMs 的学习知识，从而提取出 PLMs 的句法知识
PDF4 years ago