本文提出一种简单方法用于提高学习型 Bloom 过滤器的性能,即将学习功能夹在两个 Bloom 过滤器之间以实现更好的性能。
Mar, 2018
提出一种用于设计、分析和实现 “Learned Bloom Filters” 的新方法,并结合分类器和数据集进行了性能评估,我们的实验表明,这种方法和软件可以有效地帮助确定最佳的分类器和最适合不同数据复杂度问题的 “Learned Bloom Filters” 的类型。
Nov, 2022
本文探讨通过元学习一次性实现近似集合成员关系的学习,提出了一种新的记忆体架构,神经布隆过滤器(Neural Bloom Filter)可以在经典布隆过滤器和现有的内存增强神经网络上实现显著的压缩增益。
Jun, 2019
本研究通过引入敌对模型,研究了布隆过滤器在不同 adversary 情况下的表现,并证明了它与密码学的紧密联系。
Dec, 2014
本文提出了一种线性空间和常数时间可评估的 Bloomier 过滤器,并展示了如何在牺牲时间的代价下提高空间利用率。
Jul, 2008
通过评估较小的 BLOOM 模型变体(350m / 560m 和 1b3 / 1b7),我们发现:(1)与 GPT 和 BERT 等 LLM 不同,BLOOM 表现不随参数大小变化;(2)跨语言和多语言微调实验证明 BLOOM 与单语 GPT-2 模型相当或更差;(3)使用 RealToxicityPrompts 数据集的提示文本生成的毒性分析表明,BLOOM 生成的文本至少比 GPT-2 和 GPT-3 模型不良反应低 17%。
BLOOM 是一个 176B 参数的解码器 - 只有 Transformer 语言模型,它使用 ROOTS 语料库进行训练,并在多任务提示微调后达到了竞争力强的结果。该研究呼吁公开此类研究并在负责任的 AI 许可下发布其模型和代码,以便未来的研究和应用。
双层优化是指将下层能量函数的最优解作为上层感兴趣的目标的输入特征。本文说明了一系列图学习技术可以被重新解释为双层优化的特殊情况或简化形式,并提出了更灵活的能量函数类,形成图神经网络的消息传递层。此外,本文探索了与非图神经网络图学习方法的密切联系,并通过实证结果展示了所提出的双层优化方法的多样性。
Mar, 2024
研究表明,通过暂时修剪和恢复模型的子集滤波器,反复进行该过程,可以减少所学习特征的重叠,从而提高了模型的泛化能力;而在这种情况下,现有的模型修剪标准并不是选择修剪滤波器的最优策略,因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络,能够提高各种任务的性能,尤其是小型网络的性能。
Nov, 2018
提出了一种能够在使用深度学习从推荐领域提取数据时对输入和输出进行压缩的方法 Bloom embeddings,并在对七个数据集的测试表明此方法能够提供计算效率和比原始方法更高的准确性。
Jun, 2017