training data quality | BriefGPT

关键词training data quality

搜索结果 - 5

ICML大规模语言模型中的自我认知：一项探索性研究
研究通过构建自我认知指令提示池，评估大型语言模型的自我认知，并提出四个原则来量化模型的自我认知水平。结果显示在 Chatbot Arena 的 48 个模型中，有 4 个模型展示出可检测到的自我认知。模型规模、训练数据质量与自我认知水平之间
PDF3 days ago
EMNLP人工敌对样本与友好样本对 BERT 泛化能力的影响
通过实验验证，针对固定大小的训练样本，10-30% 含有人工对抗元素的训练样本可以提高文本分类和关系抽取等任务的准确性和 F1 分数，超出这一范围的增加可能导致性能停滞甚至降低。与此相反，带有人类友好元素的训练样本可能不利于模型的泛化能力，
PDF9 months ago
Skill-it！一种基于数据驱动的技能框架用于理解和训练语言模型
使用具有固定标记预算的新框架，通过学习一组语言模型的技能顺序，从而在任务间提升下游模型性能，减少数据训练量，并引入一种在线数据采样算法 Skill-It，以实现连续预训练和微调中多个技能的高效学习。
PDFa year ago
神经机器翻译中的数据缩放定律：噪声和架构的影响
本文研究了神经机器翻译中体系结构和训练数据质量的变化对数据缩放性质的影响，并发现使用返向翻译数据会显著降低缩放系数。
PDF2 years ago
训练数据中的隐藏偏差对文本蕴涵识别性能的影响
本文提出了一种新的方法来研究用于识别文本蕴含任务的大型语料库的质量，通过基于统计假设检验的方法，测试了斯坦福自然语言推理（SNLI）语料库的可预测性，结果表明该库存在隐藏的偏差，并呈现了此偏差对于 RTE 的 NN 模型性能的影响。
PDF6 years ago