BriefGPT.xyz
Apr, 2022
Dynatask：创建动态AI基准任务的框架
Dynatask: A Framework for Creating Dynamic AI Benchmark Tasks
HTML
PDF
Tristan Thrush, Kushal Tirumala, Anmol Gupta, Max Bartolo, Pedro Rodriguez...
TL;DR
Dynatask是一个开源系统，它旨在极大地降低主机和评估最先进的自然语言处理（NLP）模型所需的技术知识和工作量，以及用众包进行模型数据收集。用户只需要编写一个简短的任务配置文件，系统会自动生成相关的Web界面和模型托管基础设施，并与具有人类和模型数据收集和评估的Dynabench平台集成。
Abstract
We introduce
dynatask
: an open source system for setting up custom
nlp
tasks that aims to greatly lower the technical knowledge and effort required for hosting and evaluating state-of-the-art
→