masked language models | BriefGPT

关键词masked language models

搜索结果 - 62

ICLR利用对抗式训练信号生成器进行文本编码器的预训练
提出了一种新的框架 AMOS，其中通过多个辅助生成器的多个信号混合来用对抗学习课程进行文本编码器的预训练，通过 ELECTRA 风格的预训练，主编码器训练为鉴别器，以检测辅助掩蔽语言模型生成的替换标记，AMOS 在 GLUE 基准测试中比
PDF2 years ago
ACLPERFECT：语言模型下基于 Few-shot 的自动学习算法
本研究提出了一种名为 PERFECT 的方法，该方法能够高效地进行少样本学习，无需手动构造提示信息，仅需少量数据即可完成微调，其基于任务适配器和新型多令牌标签嵌入的设计选择，优于现有的先进方法，并且可在多种自然语言处理任务上得到验证。
PDF2 years ago
使用成员推断攻击量化掩码语言模型的隐私风险
使用类似于似然比假设检验的成员推理攻击方法，我们发现面向医疗笔记的掩模语言模型泄漏训练数据的隐私风险非常高，表现为先前攻击的 AUC 从 0.66 提高到 0.9 级别，并且在低误差区域有显着提高：在 1％误报率的情况下，攻击效果比先前攻击
PDF2 years ago
COLING使用预训练置换检测模型作为少样本学习器
本文提出了一种使用预训练的 token-replaced 检测模型作为 few-shot 学习的替代方法，通过将分类或回归任务转化为 token-replaced 检测问题并利用自然语言提示来预测输入中最原始的标签描述词，对 16 个数据集
PDF2 years ago
ACL用串行再现链探究 BERT 的先验知识
本文在认知科学的迭代学习理论的基础上，探索利用串行复制链从 BERT 先验中抽取样本，发现 Generative Stochastic Network（GSN）采样器是地面真实联合分布的唯一一致估计器，其从 GSN 链产生的句子的词汇和句法
PDF2 years ago
ACL在掩码语言建模中，是否应当掩盖 15% 的词语？
本研究旨在重新审视 MLM 预训练过程中重要的掩码选项，并指出在不同的模型大小和掩码策略下，15% 的掩码率并不是普遍最优的选择。我们发现，对于 BERT-large 规模的模型，使用 40% 的掩码比 15% 更优，即使使用极高的掩码率
PDF2 years ago
无真实材料的手写文本识别模型评估
这篇论文介绍了在应用阶段中评估手写文本识别 (HTR) 模型所面临的问题，以及介绍了使用不依赖于地面真实文本数据的指标来选择最佳模型的方法，其中包括使用标准语言模型和遮盖语言模型 (MLM) 的复杂度更高的方法，并表明 MLM 评估可以与基
PDF2 years ago
ACLTaCL：利用 Token-aware 对比学习提高 BERT 预训练
本文介绍了 TaCL，一种全新的断续预训练方法，利用无监督学习使 BERT 学习各种符号表示的同构和具有辨别性的分布，通过广泛测试，TaCL 在中英文基准测试中带来了显著的改进。
PDF3 years ago
ACL大规模基于替换的词义归纳
本文提出一种基于预训练掩码语言模型（MLMs）的词义归纳方法，可以扩展到大词汇和大语料库，其结果是一个按语料库导出的意义清单进行感知标记的语料库，每个意义将与指示性单词相关联，通过在此感知标记语料库上训练静态单词嵌入算法，我们获得了优质的静
PDF3 years ago
EMNLP将残差和归一化层引入掩码语言模型分析中
通过全面分析 Transformer 架构（多头注意力、残差连接和层归一化）来研究其性能表现，发现中间表示的交互通过注意力执行的作用比先前假定的要小，并提供了新的直观解释。
PDF3 years ago
EMNLP基于流派的弱监督跨语言依存分析
本文研究表明，单语掩模语言模型学习表示数据驱动的语言变化概念，可用于目标导向的训练数据选择。作者将数据集类型标签作为弱监督信号，用于零样本依存分析中的有针对性数据选择。作者还表明，数据集类型是可恢复的，并且提供了一个有效的信号用于跨语言零样
PDF3 years ago
EMNLPBERT、mBERT 还是 BiBERT？关于上下文化嵌入用于神经机器翻译的研究
本研究通过将定制和合适的双语预训练语言模型（称为 BiBERT）的输出（上下文嵌入）作为神经机器翻译编码器的输入，展示了实现最先进的翻译性能的方法，并提出了一种随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入。
PDF3 years ago
ACL利用语用掩蔽和替代微调改进社会意义检测
提出 pragmatic masking 和 surrogate fine-tuning 作为两种补充策略，利用社交线索指导预训练的表示，使其朝向一组广泛有用的概念，这些概念适用于各种社交意义任务。该方法在 $15$ 个不同的 Twitte
PDF3 years ago
揭开口罩 —— 评估蒙面语言模型中的社会偏见
本文提出了一种名为 AUL 并基于 attention weights 的 Alle Unmasked Likelihood 方法，用于检测 Masked Language Models 中的社会偏见，并发现以前的评估指标存在一系列问题，例
PDF3 years ago
EMNLP伪零代词消解改善零指代消解
本研究提出两个新的建议，分别是在 MLMs 上使用含有显式监督的方法进行项链关系的预训练任务以及新的微调方法，实验证明这两个建议可以提升零指称解析的性能，同时揭示了其余挑战的新见解。
PDF3 years ago
基于 PMI 的相关跨度掩码
通过对点对互信息的概念提出了 PMI-Masking，该结构代替了以往不合理的随机掩码方法，实验结果表明在预训练的效率和下游任务性能上有所提高
PDF4 years ago
EMNLP带对抗训练的语言模型有效无监督领域自适应
本文探讨了如何利用适当的遮罩策略来提高基于掩蔽的语言模型在领域自适应任务上的性能，并提出了一种有效的训练策略，即通过对更难以恢复的标记进行对抗性遮蔽，以使模型更好地适应目标任务。通过六个无监督领域适应任务，该方法在命名实体识别方面显著优于随
PDF4 years ago
EMNLP带填充掩码语言模型的无监督文本风格转移
该论文提出了 Masker，一种用于风格转移的无监督文本编辑方法，它利用掩码语言模型 (Masked Language Models) 在没有平行数据的情况下训练源语言和目标语言模型，并通过删除源文本的部分标记和替换为目标模型的标记，实现风
PDF4 years ago
EMNLPCrowS-Pairs：一个挑战数据集，用于测试面具语言模型中的社会偏见
该论文介绍了一种基准测试数据 CrowS-Pairs，用于评估预先训练的自然语言模型在涉及到社会偏见方面的表现，结果发现所有评估的模型在 CrowS-Pairs 的每个类别中都偏向于表达刻板印象的句子。
PDF4 years ago
MLMLM: 基于均值似然掩蔽语言模型的链接预测
我们提出了 MLMLM（Mean Likelihood Masked Language Model）方法，通过比较不同实体生成的平均可能性来进行链路预测，以解决 KB 的可扩展性问题和 MLM 的可解释性问题，从而在 WN18RR 数据集上
PDF4 years ago