language understanding tasks | BriefGPT

关键词language understanding tasks

搜索结果 - 7

EMNLP自然语言理解的向量量化输入上下文化软提示
提出了 VIP，这是软提示调整框架的扩展，着重于两个方面 - 上下文提示通过小规模句子编码器学习软提示令牌的输入特定上下文化和量化提示通过向量量化网络将上下文提示映射到可学习的码本向量的设置。VIP 在各种语言理解任务上表现出优越性能，比软
PDF2 years ago
ACL语序很重要（洗牌语言模型知道）
研究发现，经过随即排列的句子进行预训练和 / 或微调的语言模型表现出与 GLUE 上竞争力的表现，这给单词顺序信息的重要性带来了质疑。尽管有一些研究表明位置嵌入对于模型在混乱的文本上表现良好似乎很让人费解，但我们对这些语言模型进行了单词顺序
PDF2 years ago
EMNLP显微镜下的比例定律：从小尺度实验预测变形器的性能
本文通过对自然语言处理任务的实证研究，发现神经比例定律不仅仅用于模型性能的预测，还可用于模型加速开发、优化模型选型以及模型的收敛调试等方面。
PDF2 years ago
中间任务训练提高零样本跨语言迁移能力
本研究主要研究在非英语任务上英语中间任务训练（Intermediate-task training）是否有助于跨语言理解学习迁移，通过在 XTREME 基准测试上得到大幅度的改进，我们的最佳模型超过了 XLM-R Large，成为 2020
PDF4 years ago
使用统一的文本到文本 Transformer 探索迁移学习的极限
本文探讨了自然语言处理中的迁移学习技术，提出了一个统一的框架来解决所有基于文本的问题，比较了预训练目标、架构、数据集等因素对于各种语言理解任务的影响，并通过实验与新数据集达到了最先进的结果，并共享了数据集、预训练模型和代码，以促进未来的 N
PDF5 years ago
人类与布偶的对比：GLUE 基准测试人类表现的保守估计
使用众包的方法，评估研究人员在 GLUE 基准测试中的人类表现，表明现代神经网络方法在低资源句子分类方面仍存在挑战。
PDF5 years ago
SuperGLUE: 通用语言理解系统的更粘性基准测试
本文介绍了新的预训练和迁移学习模型和方法在语言理解任务中取得显着性能提升，提出了一个新的基准测试 SuperGLUE，在 GLUE 基准测试的基础上增加难度更大的语言理解任务、一个软件工具包和公开排行榜，可在 super.gluebench
PDF5 years ago