nlu benchmarks | BriefGPT - AI 论文速递

关键词nlu benchmarks

搜索结果 - 6

从形式到含义：利用多义一致性探测语言模型的语义深度
大规模语言模型的理解能力在不断增长，但与人类理解相比仍存在差距，特别是在多义一致性方面，这对它们在学习人类语言和理解方面的效用产生了影响。
PDF3 months ago
EMNLP理解语言模型中输入令牌字符的作用：信息损失如何影响性能？
通过预训练语言模型使用个别单词标记的少数字符子集，我们发现即使在极端情况下，即每个标记仅使用一个字符进行预训练，与全标记模型相比，在标准 NLU 基准测试和探测任务中，性能保持较高水平，例如，仅使用标记的单个首字符进行预训练的模型，在 Su
PDF8 months ago
Belebele 基准测试：122 种语言变体的平行阅读理解数据集
我们提供了 Belebele，这是一个涵盖了 122 种语言的多选机器阅读理解（MRC）数据集。该数据集显著扩展了自然语言理解（NLU）基准的语言覆盖范围，在高、中、低资源语言中评估了文本模型，从而使得对模型性能的直接比较成为可能。通过这个
PDF10 months ago
使用低比特 NxM 稀疏压缩预训练 Transformers 以增强自然语言理解
本文提出了新的框架 NxMiFormer，同时使用 ADMM 和 STE-based QAT 进行稀疏化和量化，通过搜索算法找到最优的异构压缩配置，使预处理 Transformer 网络在 NLU 测试中达到 93% 的压缩率并保持 98%
PDF2 years ago
ACL如何改进自然语言理解基准测试？
该论文提出了评估自然语言理解任务的四个标准，并指出目前大多数现有标准都无法满足这些标准，而对抗性数据收集并不能有效地解决这些失败的根本原因。为了恢复健康的评估生态系统，需要在基准数据集的设计、标注的可靠性、其大小以及处理社会偏见的方式方面取
PDF3 years ago
BERT 的最优子结构提取
通过对神经架构搜索的最新突破应用，我们从 Devlin 等人（2018）的 BERT 架构中提取出一组最优子集，称为 “Bort”，它的大小仅为原始 BERT-large 架构的 5.5％，网络大小为 16％。在 CPU 上快 7.9 倍，
PDF4 years ago