Sep, 2023
Data-Juicer:大型语言模型的一站式数据处理系统
Data-Juicer: A One-Stop Data Processing System for Large Language Models
Daoyuan Chen, Yilun Huang, Zhijian Ma, Hesen Chen, Xuchen Pan...
TL;DR我们提出了一种强大而灵活、易于使用的数据处理系统 Data-Juicer,它提供了 50 多种内置的多功能操作符和可插拔工具,通过可视化和自动化评估能力,加快数据处理并获得数据洞察力,提供用户友好的界面并发布多种数据配方,同时实现高效和可扩展的数据处理。