data pipeline | BriefGPT - AI 论文速递

关键词data pipeline

搜索结果 - 6

GECKO: 英文、程式碼和韓文的生成語言模型
GECKO 是一种针对韩语和英语以及编程语言进行优化的双语大型语言模型 (LLM)，通过 LLaMA 架构在平衡、高质量的韩语和英语语料库上进行预训练。该模型在韩语和英语的令牌生成效率上表现出色，尽管其词汇量较小。希望此研究能为韩语 LLM
PDFa month ago
街景图片开源数据管道：基于 COVID-19 疫情期间社区流动性的案例研究
我们开发了一个开源数据处理管道，用于处理从车载摄像头记录的 360 度视频数据，生成街景图像，为时序分析提供输入，并通过对行人交通的统计分析验证了数据处理管道的输出。这项研究展示了收集和使用街景图像数据在研究中的可行性和价值，并在室外行人交
PDF5 months ago
利用分类器筛选语料库：以在线清洁能源情感为例的案例研究
本文探讨了如何使用经过预训练和微调的 transformer-based 模型筛选社交媒体数据集中的相关文档，以达到高准确度的目的。该方法的低成本和高性能意味着它对于具有不确定语料库边界的社交媒体数据集可能具有广泛的好处。
PDFa year ago
AutoNMT: 简化 Seq2Seq 模型研究的框架
AutoNMT 是一个自动化的框架，可以对 seq-to-seq 模型的研究进行流程化，包括数据管道、实验工具箱和报告生成等，并配有自定义 seq-to-seq 工具箱以方便用户进行非标准任务。
PDFa year ago
谁的真实？考虑个体和集合身份的数据集标注
本文调查了众包数据集标注的伦理考虑，提出了 ML 数据管道各阶段的一系列推荐和考虑因素。
PDF3 years ago
深度神经网络训练中数据阻塞的分析与减轻
本文针对输入数据管道对训练 DNN 模型的影响展开研究，使用 DS-Analyzer 工具精确测量数据阻塞时间，提出 CoorDL 数据加载库来缓解数据阻塞问题，并在多个 DNN 模型、数据集、硬件配置上进行验证，结果显示相对于 DALI
PDF4 years ago