glue tasks | BriefGPT - AI 论文速递

关键词glue tasks

搜索结果 - 12

ICLR投影增强：一种有效高效的蒸馏数据增强范式
本文提出了一种名为 AugPro 的数据增强方法，通过在表示插值增强方法的基础上构建数据的多样性，并将增强数据转换为标记来避免转移决策边界，提高了蒸馏的性能并在计算效率上具有优势。
PDF2 years ago
预训练 Transformer 的极致压缩简单高效实现
本文通过回顾相关学者先前的工作，系统地探讨了几个关键参数的影响。在此基础上，提出了一种名为 XTC 的简单而有效的压缩流程，它通过极端量化和层减少使模型尺寸降低了 50 倍，并在 GLUE 任务上实现了最新的最佳结果。
PDF2 years ago
ACL超越分布式假设：让语言模型学习意思 - 文本对应关系
本文介绍为了解决语言模型 (LMs) 无法满足的逻辑否定性质 (property) 所采用的方法。研究者提出一种名为 Meaning-Matching 的新的任务，用于直接帮助 LM 学习词汇语义信息，进而满足逻辑否定性质 (propert
PDF2 years ago
探究什么让跨语言转移变得困难：Oolong 的受控研究
为了解决跨语言转移中诸如标记化、形态和句法变化等因素的影响，我们提出了一组控制性转移研究，针对 GLUE 任务逐一更改不同的因素，然后测量预训练模型在下游性能中的下降。我们发现，最具影响力的因素是将新的嵌入与现有的变压器层对齐，而旧有的预训
PDF2 years ago
数据损坏对自然语言理解模型的影响：对 GLUE 数据集的研究
本论文针对自然语言理解研究的核心问题，以预训练语言模型为研究对象，通过对数据进行特定破坏转换使其变为无意义的句子，考察了在非意义上下文中该模型的判断能力，发现即便是在数据被破坏之后，该模型在大部分 GLUE 任务上的表现依旧保持较高水平，说
PDF2 years ago
ACL一种灵活的 BERT 多任务模型服务
本文提出一种基于 BERT 的多任务框架，采用部分微调，单任务模型知识蒸馏和模型压缩技术，使得各个子任务的共享部分得以共用，从而实现了低成本、高性能的实时任务处理。该框架在小米智能语音助手中得到了应用，整个系统处理成本降低了 86%。
PDF3 years ago
ACL有效的注意力揭示解释性
该研究使用 GLUE 任务和 BERT，比较了标准注意力和有效注意力矩阵对于解释语言建模预训练和语言特征的差异，并发现有效注意力更加相关于最终任务的解决，推荐使用有效注意力更贴近设计目标。
PDF3 years ago
剪枝的调适：BERT 的案例研究
本文提出了一种新的模型适应策略 —— 剪枝适应，将神经模型预先训练的连接进行修剪以优化目标任务的性能，在剩余的连接中保留原有权重；我们将剪枝适应表述为具有可区分损失的优化问题，并提出了一种有效的算法来修剪模型。结果表明，在与微调完整模型相比
PDF3 years ago
关于 BERT 说明解释的实证研究：序列分类
本文对 BERT 在序列分类任务中的决策方法进行解释，并对现有的四种属性方法进行了广泛的分析，以应用于四个不同的情感分析数据集。通过各种消融研究比较了每种方法的可靠性和稳健性，并测试属性方法是否能解释语义上相似的任务的广义语义。
PDF4 years ago
ACL乱序排列：语句中单词顺序对自然语言理解任务的重要性如何？
此研究发现，BERT 等自然语言处理模型在进行自然语言理解任务时，即使输入词的顺序被随机打乱，其对下游任务的影响几乎不会改变，因为这些模型主要利用表面特征（如情感分析中的关键词情感或自然语言推断中序列对输入的逐词相似性）进行正确的决策。研究
PDF4 years ago
EMNLP预训练语言模型的可转移性研究
研究了语言模型预训练对迁移学习的帮助，引入了一种部分重新初始化的技术来测量每个预训练层对迁移学习效果的影响。结果表明在 BERT 中，对于下游 GLUE 任务性能高的层并不是必要的，也不足以保证高准确性，与此同时，当微调数据较少时，参数提供
PDF4 years ago
EMNLP揭示 BERT 的黑暗秘密
本研究基于自注意力机制进行 BERT 模型的定量及定性分析，发现模型的超参数化导致自注意力机制复用率高，不同自注意力机制对不同 NLP 任务影响不同，针对性关闭某些自注意力机制可以提升模型性能。
PDF5 years ago