data engineering | BriefGPT

关键词data engineering

搜索结果 - 12

数据工程流水线工具调查
数据工程领域中的一项研究调查了不同类型的流水线工具，包括 ETL/ELT、数据集成、数据管道编排和工作流管理以及机器学习流水线，揭示了这些工具在数据准备方面的应用以及为机器学习准备数据的方法和案例。
PDF24 days ago
面向扩展语言模型至 128K 上下文的数据工程
本研究探讨使用持续预训练重现将语言模型的上下文长度扩展到 128K，重点关注数据工程。我们假设长篇背景建模，特别是 “能够在任意输入位置利用信息” 的能力在大规模预训练中已经获得，而且这种能力可以通过对适当数据混合进行轻量级持续预训练来延伸
PDF5 months ago
数据工程与 AI 系统的映射研究
AI 系统需要数据，而 AI 数据工程可以为组织提供帮助。本文通过进行数据工程的映射研究，总结了 AI 数据工程活动的论文，包括各个生命周期阶段、技术解决方案和教训，为从业者和研究人员提供了知识概览。
PDF5 months ago
NHANES-GCP: 利用谷歌云平台和 BigQuery ML 进行可复现机器学习，基于美国国家健康和营养调查数据
NHANES-GCP 自动化处理 NHANES 数据工程和管理，提供干净的数据表，可用于大规模分析，以增强分析的可重复性，为统计学、机器学习和大型语言模型的微调创建良好的 NHANES 数据资源。
PDF6 months ago
对齐中良好数据的特点研究：自动数据选择在指令调优中的综合研究
深入研究自动数据选择策略以提高模型对齐，介绍了对数据进行测量的现有方法和新技术，提出了基于测量的简单数据样本选择策略，并通过使用该策略自动选择的数据样本，从 LLaMA 和 Mistral 模型微调了一系列模型（deita），结果显示，de
PDF6 months ago
音乐元本体论：音乐元数据的互操作性的灵活语义模型
音乐元本体论介绍了一种丰富而灵活的语义模型，用于描述与艺术家、作曲、演奏、录音和链接相关的音乐元数据，并通过数据工程的最佳实践来考虑各个利益相关者的需求和角度，从而支持数据对齐、转化和检索。
PDF8 months ago
Safurai 001：面向代码 LLM 评估的新定性方法
Safurai-001 是一个新型的大型语言模型，具有显著的编码辅助潜力。通过在数据工程方面的进展以及指令优化，它旨在提供更具对话性的互动。该论文还介绍了基于 GPT4 的多参数评估基准，以全面了解模型的功能和性能。评估结果表明，Safur
PDF10 months ago
机器学习在持续集成中的应用的系统文献综述
本研究对机器学习在持续集成中的应用进行了系统综述，探讨了其数据工程、特征工程、超参数调整、评估方法等方面。研究提供了研究者和从业者在持续集成中应用机器学习方法的有价值的见解，强调在这一领域需要进一步研究。
PDFa year ago
使用综合数据工程技术提升多语言信息检索模型性能
该论文介绍了如何通过数据工程技术来优化以多语言为基础的 transformer 模型以提高信息检索效率，该解决方案在 MIRACL 挑战赛中取得了显著成绩。
PDFa year ago
ACL通过领域自适应和重新排名控制低资源 NMT 中的形式化语言：SLT-CDT-UoS 在 IWSLT2022
本文介绍了 SLT-CDT-UoS 团队参加 IWSLT 2022 评估活动中形式控制特别任务的贡献。我们在数据工程和目标函数改变上付出了努力，使用语言独立方法从提供的语料库中提取正式和非正式句子对，使用英语作为中间语言，我们将格式注释传播
PDF2 years ago
StyleGAN-Human: 人类生成的数据中心之旅
本研究从数据工程的角度出发，收集并注释了一个大规模人类图像数据集，并通过实验研究了数据量、数据分布和数据对齐等因素对 StyleGAN 生成高保真无条件人类图像的影响。结果显示，需要超过 40K 的大规模数据来训练高保真的 StyleGAN
PDF2 years ago
数据分析的数据工程：问题分类和案例研究
本文提供了关于数据工程任务的描述和分类，包括数据组织，数据质量和特征工程，以及四个数据集和例子分析，以帮助减少这项任务的负担并推动数据工程自动化的研究。
PDF4 years ago