pre-training datasets | BriefGPT

关键词pre-training datasets

搜索结果 - 11

小型语言模型能否学习、遗忘并保留噪声模式？
该研究调查了小语言模型在学习、保留和消除通常不存在于互联网上的噪声方面的能力，并评估了四个小语言模型的表现在不同训练水平下，发现 Olmo 在任务上表现始终良好，即使它是参数最少的模型。
PDF3 days ago
生物医学基准中的药物名称对语言模型的出乎意料的脆弱性
医学知识的上下文相关性需要在各种自然语言表达的语义等效短语中保持连贯的推理，尤其对于药物名称，患者通常使用品牌名称如 Advil 或 Tylenol 而非其通用等效物。在本研究中，我们创建了一个新的鲁棒性数据集 RABBITS，通过医生专家
PDF17 days ago
ED-SAM：一种高效的扩散抽样方法用于视觉 - 语言基础模型中的领域泛化
本文介绍了一种新的简单而高效的扩散采样方法（ED-SAM），以提高视觉语言基础模型的泛化能力，并通过生成对抗样本来改善模型对未知数据分布的适用性。实验结果表明，与其他最近的方法相比，所提出的 ED-SAM 方法在不同规模的视觉语言预训练数据
PDFa month ago
学习带有噪音基础模型
该论文通过广泛的实验证明，虽然在预训练中存在一定的噪声可以提高域内性能，但它总是破坏域外性能，然后提出了一种调整方法来减轻噪声的不良影响并提高泛化能力。
PDF4 months ago
无源无监督领域自适应中的关键设计选择：一项深入实证分析
通过综合基准评估方法，本研究针对图像分类中的无源无监督领域自适应（SF-UDA）提供了一个全面的基准框架，旨在实现对 SF-UDA 方法中多个关键设计因素之间复杂关系的严格经验理解，并对多种 SF-UDA 技术进行了实证研究，评估它们在数据
PDF4 months ago
NL-to-Bash 语义解析器中的结构迁移学习
大规模预训练在许多自然语言处理领域取得了进展，但对于预训练数据集的设计了解甚少。我们提出了一种获取机器翻译任务之间结构重叠的定量理解的方法。我们将该方法应用于自然语言到 Bash 语义解析任务 (NLBash)，并表明它在很大程度上可以归结
PDFa year ago
监督预训练中类内 / 类间差异的权衡
研究了监督式预训练数据集中类内和类间多样性的权衡对模型性能的影响，并理论上证明了性能单调取决于多样性，实验应用推断出预训练数据集最佳类别 - 样本比率对模型下游任务最有效，以 ImageNet 为例，该方法模型效果提升了约 2 个点。
PDFa year ago
大型语言模型在学习长尾知识方面面临困难
本文研究了大型语言模型记忆的知识与其预训练数据中信息之间的关系，结果发现语言模型回答基于事实的问题的能力与预训练期间看到的相关问题文档数量有强相关性和因果关系；同时，该研究发现，虽然更大的模型能学习更长尾的知识，但需要将模型规模增加数个数量
PDF2 years ago
ECCV多域标准下重新思考少样本目标检测
本文提出了一个基于多领域的数据集的多领域少样本目标检测（MoFSOD）基准测试，以评估少样本算法的性能，并通过冻结层、不同体系结构和不同预训练数据集等方面的实验结果发现了多个影响少样本目标检测性能的关键因素，并提出了两种算法改进方法，在 M
PDF2 years ago
CVPR无监督时空表征学习大规模研究
本文通过对四个最新的基于图像的视角的统一，提出了一种可以很好地概括所有这些方法的简单目标，该目标鼓励同一视频中的时间持久特征，在不同的无监督框架、预训练数据集、下游数据集和骨干架构中效果惊人，我们从该研究中得出了一系列有趣的观察结果，例如，
PDF3 years ago
ICCV对比自监督表示学习流程的对比
该篇论文从训练算法、预训练数据集和最终任务的角度分析了自监督表示学习的最成功和最流行的变体 - 对比式学习，探究了各种问题，包括自监督模型与监督模型的性能比较，用于评估的当前基准，以及预训练数据对最终任务性能的影响。
PDF3 years ago