electra | BriefGPT - AI 论文速递

关键词electra

搜索结果 - 18

ELECTRA 句子嵌入是否无法修复？语义文本相似度的案例研究
通过修复 ELECTRA 模型的嵌入方式，提出了一种新的修剪模型微调（TMFT）方法，可以显著提高其在 STS 基准数据集上的 Spearman 相关系数，并增加参数效率；该方法与词相似性任务或领域自适应预训练相结合进一步提升了性能。
PDF4 months ago
高效预训练的 Fast-ELECTRA
通过利用现有的语言模型作为辅助模型，我们的方法 Fast-ELECTRA 解决了 ELECTRA 在训练成本上的限制，并通过温度调节和降序调度来平滑主模型的输出分布，从而提高了预训练的稳定性和性能。
PDF9 months ago
问题分类的集成方法：集成 Electra Transformer、GloVe 和 LSTM
本文介绍了一种新颖的集成方法，使用先进模型 Electra、GloVe 和 LSTM 进行问题分类。该提出的模型在 TREC 数据集上进行训练和评估，这是一个问题分类任务的公认基准。集成模型综合了 Electra（一种基于 transfor
PDFa year ago
ACL上下文感知 Transformer 预训练与答案句子选择
该研究提出了三个预训练目标，旨在模拟上下文 Answer Sentence Selection 的下游微调任务，并应用于 RoBERTa 和 ELECTRA 等模型，达到一定的准确率提升。
PDFa year ago
ACL预训练语言模型作为多角度课程学习者
本文针对 ELECTRA 预训练生成器与判别器训练时出现的单调训练和交互不足的问题，提出了一种多角度课程学习（MCL）算法。该算法通过将 MLM 缺点和标注标签平衡考虑在内的三个自监督课程设计，解决了单调训练和标签不平衡等问题。由于判别器与
PDFa year ago
评估最近大型预训练模型中的社会偏见
研究旨在探讨最新的预训练模型中是否比旧模型更负责任地发展，以便降低固有的社会偏见以及探究三个最近的模型（ELECTRA，DeBERTa 和 DistilBERT）在减少偏见方面的总体趋势。实验比较这些模型与基准 BERT 的关联指标，并发现
PDFa year ago
利用数据复用的方式预训练多路复用语言模型 (MUX-PLMs)
该论文提出了一种用于提高模型推断效率的数据复用方法 - 数据多路复用。此外开发了预训练的多路复用语言模型 MUX-PLMs，通过三阶段训练和新颖的复用和解复用模块来提高吞吐量和下游任务准确性，MUX-BERT 和 MUX- ELECTRA
PDFa year ago
LegalRelectra：用于长篇法律文本理解的混合领域语言建模
LegalRelectra 是一种基于 Electra 框架，使用 Reformer 生成器和鉴别器的法律领域语言模型，旨在处理包含多个领域词汇的文档，通过在混合法律和医学语料库上训练，其能够比通用领域和单领域医学和法律语言模型更好地处理混
PDF2 years ago
以判别式语言模型为基础的语义一致性评分器，用于基于提示的小样本文本分类
本文提出了一种新的基于提示的微调方法 (DLM-SCS) 用于少样本文本分类，通过利用区分性语言模型 ELECTRA，该模型是预先训练用于区分一个 token 是否是原始生成的。模型的基本思想是，用真实标签实例化的提示应具有比其他带有假标签
PDF2 years ago
EMNLPELECTRA 激励：用判别式预训练模型进行少样本学习
本文提出了将 prompt-based few-shot learning 方法应用到 ELECTRA 上，表明该方法在各种任务中均胜过 masked language models，并显示 ELECTRA 学习到的分布与下游任务更加一致。
PDF2 years ago
SEMI-FND: 基于堆叠集成的多模态推理，用于更快的假新闻检测
本论文探讨了一种基于多模态堆叠集成方法 (SEMIFND) 的假新闻检测方法，通过分析图像模态确定 NasNet Mobile 模型在该任务中的适用性，使用 BERT 和 ELECTRA 的集成方法对文本进行分析，并在 Twitter 和
PDF2 years ago
ACL基于 Transformer 的情感检测集成方法
本文介绍我们在 WASSA 2022 共享任务中使用 ELECTRA 和 BERT 模型解决情感检测问题的贡献，通过对一篇文章进行分类，识别离散的情感，如悲伤、惊讶、中性、愤怒、恐惧、厌恶、快乐。我们的代码库和 WandB 项目公开可用，并
PDF2 years ago
EMNLP不同模型在语言知识定位方面并非都一样：对 BERToid 表示的逐层探索
本研究探究了不同的预训练模型（BERT、ELECTRA 和 XLNet）对语言信息编码的差异性，并表明基于深度的评估策略往往存在误导性，我们使用了一种信息论探究方法以获取更为可靠和有用的结论。
PDF3 years ago
NL2SQL 的关系感知半自回归语义解析
该论文提出了一种基于关系嵌入的半自回归语义分析 NL2SQL 方法，通过 ELECTRA 和关系感知 transformer 层实现与模式实体及问题单词之间的关系嵌入，再使用半自回归解析器和预定义的 SQL 语法解码查询 SQL，从实验结果
PDF3 years ago
ACL多词选择增强的训练 ELECTRA
本研究中提出了一种基于多任务学习的文本编码器预训练方法来改进 ELECTRA 模型，通过同时检测替换的标记和从候选集中选择原始的标记来训练判别器，并使用注意力机制网络和共享底部层的技术同时处理各种预训练任务，取得了在 GLUE 和 SQuA
PDF3 years ago
AraELECTRA：面向阿拉伯语文本理解的预训练判别器
本文介绍了一种名为 AraELECTRA 的阿拉伯语语言表示模型，使用替换标记检测目标在大型阿拉伯文本语料库上进行预训练，评估模型在多种阿拉伯自然语言处理任务中的表现，结果显示 AraELECTRA 在给定相同预训练数据且模型更小的情况下，
PDF4 years ago
NTES_ALONG 在 Convai3 挑战中的澄清问题选择系统
该论文介绍了 NetEase 游戏 AI 实验室团队参加 2020 年 Search-oriented Conversational AI（SCAI）EMNLP 研讨会 ClariQ 挑战的情况。我们提出了一个澄清问题选择系统，它由回复理解
PDF4 years ago
COLING德国的下一代语言模型
本文介绍了我们使用 BERT 和 ELECTRA 基于德语的语言模型 GBERT 和 GELECTRA 的实验，通过改变输入训练数据、模型大小和整个单词掩蔽（WWM）的存在，我们成功实现了在基础和大型模型的文件分类和命名实体识别（NER）任
PDF4 years ago