bert-based models | BriefGPT

关键词bert-based models

搜索结果 - 47

EMNLP压缩语言模型中预训练数据量的重要性
我们研究了预训练数据量对紧凑型语言模型的影响。我们发现，即使只有 100MB 的预训练数据，通过在法语问答数据集（FQuAD）上微调 BERT 模型，都可以得到表现很好的模型。此外，我们还展示了，除了任务特定的语料库，中等数量的预训练数据并
PDF4 years ago
ICLR关于 BERT 微调的稳定性：误区、解释和强基准线
通过分析 BERT、RoBERTa 和 ALBERT 在 GLUE 基准测试集上的表现，本文表明，Fine-tuning 不稳定是由于优化困难导致梯度消失，我们提出了一个简单但强大的基线方法，使 BERT-based 模型的 fine-tu
PDF4 years ago
ACLForecastQA：基于时序文本数据的事件预测问答挑战
本文提出了一种基于大量非结构化文本数据的事件预测方法，即将其转化为一种限定领域的问答任务。特意构建了 ForecastQA 问答数据集用于测试，采用 BERT-based 模型，最终精度达到 60.1%，但还落后于人类表现约 19%。
PDF4 years ago
Kungfupanda 于 SemEval-2020 12 任务：基于 BERT 的多任务学习用于冒犯性语言检测
本篇研究论文针对社交媒体中的攻击性内容建立一个结合多任务学习和以 BERT 为基础的模型的系统，利用预训练的 BERT 语言模型有效地学习社交媒体中包含噪音的文本的表示，同时利用其他相关任务的监督信号来提高攻击性语言检测的性能，在 Offe
PDF4 years ago
EMNLP问答数据集让模型学到了什么？
本文通过评估五个数据集上的基于 BERT 的模型来研究模型是否从问答数据集中学习阅读理解，发现没有一个数据集能够具备全部实验的鲁棒性，并且发现了数据集和评估方法的不足，最后建议构建更好的 QA 数据集以评估阅读理解任务的问答能力。
PDF4 years ago
WWW使用上下文化词嵌入向主观偏见检测迈进
本研究使用基于 BERT 模型的集成模型在 Wiki 中性语料库上进行了全面实验，从而检测到了主观偏见，并提出了比 BERT large 更具先进性的方法，F1 得分上升了 5.6%。
PDF4 years ago
简单的 BERT 模型用于关系抽取和语义角色标注
本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。
PDF5 years ago