data construction | BriefGPT

关键词data construction

搜索结果 - 7

HARE：人类先验：小语言模型效率的关键
在资源受限环境中进行高效语言模型训练的研究，提出了一种利用人类先验知识进行数据构建的原则，并通过在简洁数据集上训练 HARE-1.1B 模型来验证该原则的有效性。
PDF15 days ago
面向视觉 - 语言地理基础模型：一项调查
本文全面审查了视觉 - 语言地理基础模型（VLGFMs），总结和分析了该领域的最新发展，包括 VLGFMs 的背景、动机、核心技术和应用，以及未来研究方向的洞察、问题和讨论。
PDF19 days ago
大型语言模型的外部和参数知识融合评估
融合外部知识到大型语言模型（LLMs）中，以克服其古老且静态参数化记忆所带来的局限性，增强 LLMs 在知识整合方面的能力成为很有前景的解决方案。然而，先前的研究倾向于过度依赖外部知识，低估了 LLMs 内在参数化知识的宝贵贡献。尤其是在外
PDFa month ago
指导调优的动力学：大型语言模型中的每个能力都有自己的增长速度
基于全面的模型性能至诚态度，我们系统调查了数据量、参数规模和数据构建方法对各种能力发展的影响，并通过新的 40k 人工指导的指令数据集进行了数百个模型检查点（7b 到 33b）的全面指导优化。我们的研究揭示了三个主要发现：（i）尽管数据量和
PDF8 months ago
在基于知识的任务导向对话系统中采用加权负采样进行外部知识选择
本文旨在构建一个具有鲁棒性的口语对话系统，通过引入未结构化的外部知识和采用数据构建、加权负采样、后训练以及风格转换等四种高级方法，完成了 DSTC10-Track2-Task2 的任务，实验表明我们的模型在客观评估中排名第 7，人工评估中排
PDF2 years ago
神经文本生成的最新进展：一项任务无关的调查
本文综述了神经文本生成领域的最新进展和未来方向，包括数据构造、神经框架、训练和推理策略以及评估指标等方面。
PDF2 years ago
CommonsenseQA 2.0：通过游戏化揭示 AI 的局限性
本研究提出以益智游戏为框架进行数据构建来解决自然语言理解模型面临的问题，使用这种方法构建出包含 14,343 个 yes/no 问题的 CommonsenseQA 2.0，该数据集对比现有的深度学习模型难度更大（例如 T5-based Un
PDF2 years ago