data filtering | BriefGPT - AI 论文速递

关键词data filtering

搜索结果 - 24

谁在内部谁在外部？DataComp 中多模态 CLIP 过滤的案例研究
我们的研究发现，数据过滤方法在图像和文本领域也存在偏见和价值观，并且与一些边缘群体相关的数据更容易被排除。此外，我们还发现现有的数据过滤方法可能加剧数据收集中存在的不平衡问题，并且有必要对数据集的创建和过滤做出根本性的改变。
PDF2 months ago
ICC：用于多模态数据集策划的图像标题具体化量化
我们提出了一种新的度量标准 —— 图像标题具体性，用于在多模态学习中评估无图像参考的标题文本的具体性和相关性，该方法利用强基模型衡量多模态表示中的视觉 - 语义信息损失，我们证明这与人类对单词和句子级文本具体性的评估强相关，同时我们展示出使
PDF4 months ago
Superfiltering：快速指令调整的弱到强数据过滤
通过 Superfiltering 方法，利用弱模型选择数据用于训练更大的语言模型，不仅大大提高了数据过滤速度，而且在标准基准测试中取得了更好的性能表现。
PDF5 months ago
M2-RAAP：一种多模式方法以推进基于适应性预训练的零 - shot 视频文本检索的有效与高效性
我们提出了一种名为 M2-RAAP 的多模态配方，用于推进基于适应性预训练的零 - shot 视频文本检索，具有有效和高效的特点。通过对视频文本预训练中的四个关键步骤进行全面研究，我们总结了这项实证研究成果，其中我们的技术贡献包括数据过滤和
PDF5 months ago
YUAN 2.0：基于本地化过滤注意力的大型语言模型
本文介绍了基于本地过滤的注意力（LFA）用于在自然语言中引入局部依赖的先前知识。基于 LFA，我们开发并发布了 Yuan 2.0，一个参数范围从 21 亿到 1026 亿的大型语言模型。我们提出了一种数据过滤和生成方法来构建高质量的预训练和
PDF7 months ago
细节决定成败：深入探究数据过滤的兔子洞
本论文介绍了在参加 DataComp 挑战时的学习和解决方案，通过三个阶段的筛选策略与已有方法整合以及提出新的解决方案，如使用水平翻转图像计算 CLIP 分数以减轻场景文字的干扰、利用视觉和语言模型检索目标下游任务的训练样本，重新平衡数据分
PDF9 months ago
为指导调整的大型语言模型添加虚拟提示注入
我们提出了虚拟提示注入（VPI）技术，用于调整指令的大型语言模型（LLM）。VPI 允许攻击者指定虚拟提示，在特定触发场景下引导模型行为，而无需显式地注入模型输入。我们通过污染模型的指令调整数据，演示了 VPI 的风险，并建议采用数据过滤作
PDFa year ago
T-MARS：绕过文本特征学习以改进视觉表示
基于我们观察到 LAION 图像中将近 40% 的图像包含与标题有显著重叠的文本，我们提出了一种新的最先进的数据过滤方法，T-MARS（文本遮罩和重新评分），通过先遮罩文本，然后过滤掉低 CLIP 相似性分数的遮罩图像，过滤掉只有文本占主导
PDFa year ago
借助基于 Glyph 条件去噪扩散概率模型生成的训练样本改进手写 OCR
提出一种 DDPM 概率模型用于生成手写体图像样本，并引入渐进式数据过滤策略，可将 OCR 模型在 IAM 基准任务上的错误率相对降低 45%。
PDFa year ago
ICML指导调整期间的语言模型中毒
本研究表明对 instruction-tuned LMs 输入恶意抽样将导致模型预测失准，大型 LMs 在此方面更易受攻击，而基于数据过滤或减少模型容量的防御措施提供的保护有限，同时会降低测试准确性。
PDFa year ago
让每个样本都有价值：自我影响在学习嘈杂自然语言处理数据中的稳定性与效用
本文研究使用任务不可知的自我影响分数对训练数据进行清洗的有效性，通过分析其在捕捉自然异常值方面的功效来调查自我影响数据清洗对机器翻译、问答和文本分类等任务的改进程度，利用自我影响计算的最新方法和自动课程学习作为基础。
PDFa year ago
mFACE: 多语言事实一致性评估自动摘要
本文探讨了利用基于事实一致性评估模型的数据过滤和控制生成两种方法来改善跨语言自动摘要的结果，针对语义幻觉生成的问题在提高多语言自动摘要性能方面取得了较好的结果。
PDF2 years ago
分析使用影响力函数在神经机器翻译中进行特定实例数据过滤
文章研究了影响函数在神经机器翻译（NMT）中的应用，提出了两个有效扩展，并证明在处理复制训练示例等子问题时，影响功能可以更广泛地应用于 NMT。
PDF2 years ago
利用数据过滤提高低资源非洲语言的多语言翻译
使用预先训练的语言模型，并通过筛选数据集与过滤噪声数据的方法提升翻译质量，证实数据过滤方法在机器翻译中的实用性。
PDF2 years ago
YiTrans IWSLT 2022 离线共享任务端到端语音翻译系统
本文介绍本团队使用 YiTrans 语音翻译系统参加 IWSLT 2022 离线任务，该系统基于大规模预训练编码器 - 解码器模型，并通过多阶段预训练策略、精细调节、数据过滤、数据增强、语音分割和多模型融合等多方面开展改进，结果显示我们的
PDF2 years ago
联邦学习中保护隐私的数据过滤的一种实用影响力近似方法
本文介绍了一种基于实际影响近似（lazy influence）的数据过滤和评分技术，该技术可以实现隐私保护，并允许在许多应用中高效地过滤损坏数据，其精度高，召回率达到 90% 以上，即使在强隐私保证（ϵ≤1）的情况下，也能将损坏的数据过滤掉
PDF2 years ago
高效而具有竞争力的语音翻译：FBK@IWSLT2022
本文主要研究了与语音翻译相关的模型训练成本问题，通过研究 ASR 预训练、数据过滤和音频分段等因素，提出了一种轻量级的训练策略，实现在降低模型训练成本的同时，优化了翻译质量，模型准确度得到提升。
PDF2 years ago
ACL广泛但不健壮？比较数据修改方法对领域外泛化和对抗鲁棒性的影响
本文通过研究数据修正、数据增强、去偏、数据过滤等方法对模型泛化到未知领域和对抗鲁棒性的影响，发现数据的增加（通过增加数据集或数据增强）能够提高模型在未知领域下的准确性和抗干扰能力，而数据过滤则会减少针对特定任务的准确性。
PDF2 years ago
学习带标签噪音数据的拓扑滤波器
本文提出了一种新的通过过滤标签噪声来提高深度神经网络性能的方法，该方法与大多数现有方法依赖于噪声分类器的后验概率不同，它聚焦于潜在表示空间中数据的空间行为，并通过利用数据的高阶拓朴信息来收集大部分干净的数据，理论上证明了这种拓扑方法保证采集
PDF4 years ago
神经多跳问题生成的强化 Transformer
该论文探讨了自动化生成问题的新领域：多跳问题生成。通过引入一系列强大的转换器模型，包括使用多文档之间关系增强的图形增强转换器，比简单的 transformer 模型提高了 5 个 BLEU 点，并验证了数据过滤等能极大地提升模型性能。
PDF4 years ago