Sep, 2023

BdSpell: 基于 Yolo 的孟加拉手语即时拼写系统

PDF
TL;DR提出了一种基于 YOLOv5 架构的新型实时手指拼写系统，通过使用指定规则和数字类作为触发器，高效生成隐藏和复合字符，大大提高了用户便利性，同时取得了令人瞩目的字符拼写准确率和模型平均精度，为增强 BdSL 解释提供了实质性的进展，提升了 Bangla 手语社区的沟通方式和语言平等性。
bangla sign languagebdsl interpretationfinger spelling systemyolov5 architectureinclusivity
发现论文，激发创造
  • 从字幕到视觉概念的转换和回归

    本文提出了一种用于自动生成图像描述的新方法：使用从图像标题数据集中直接学习的视觉探测器、语言模型和多模式相似模型。

    Nov, 2014

  • 基于条件的在线关键词检测学习

    本研究探讨了一种简单而有效的在线持续学习方法，旨在通过随着新数据的不断出现在设备上通过随机梯度下降来更新关键词检测器。通过对不同情境下的动态音频流进行实验，该方法将性能提高了 34％。此外，实验表明，与一个朴素的在线学习实现相比，基于对训练分布中的小 hold-out 集的表现条件模型更新可以缓解灾难性遗忘。

    May, 2023

  • 视觉语言模型的可扩展性能分析

    本文介绍了一种更具可伸缩性的方法，其根据从视觉 - 语言基准中提取的大量多样化特征，并测量它们与目标模型输出的相关性。通过该方法，作者确认了之前发现的 CLIP 表现类似于词袋模型，并且在名词和动词上表现更好；作者还发现 CLIP 在处理具体词语时会出现混淆。该框架可用于其他多模态模型和基准测试。

    May, 2023

  • 大型视觉语言模型的少样本自适应研究

    通过引入适应真实场景需求的新方法，我们综合评估了一个广泛的数据集和场景，发现其在实践中始终优于现有技术，同时作为更高效的替代方案。

    Dec, 2023

  • CLASP：用于语义解析的少样本跨语言数据增强

    本研究提出 CLASP 方法，利用合成数据从 AlexaTM 20B 中挖掘出更多的数据，用以改善低资源的语义解析，实现在多国语言上的有效应用。

    Oct, 2022

  • 语言辅助视觉模型调试器：一种无需样本的查找错误方法

    通过语言辅助诊断方法，使用文本而非图像来诊断视觉模型中的错误，通过嵌入空间和共享分类器及跨模态迁移识别图像，验证了在水鸟和 CelebA 数据集上诊断现有视觉模型的能力。

    Dec, 2023

  • BECLR: 批量增强对比式少样本学习

    用于无监督少样本学习的动态聚类内存模块 (DyCE) 和基于优化传输的分布对齐策略 (OpTA) 构成的全新端到端方法 (BECLR)，在现有的无监督少样本学习基准中取得了新的最优表现，明显优于当前最佳基准。

    Feb, 2024

  • 展示并告诉：神经图像字幕生成器

    本文提出了基于深度递归架构的生成模型，结合计算机视觉和机器翻译的最新进展，将图像描述为自然语言的句子，实验结果表明了模型的准确性和流畅性。

    Nov, 2014

  • BaFTA：零样本视觉语言模型的无反向传播测试时适应

    我们提出了一种名为 BaFTA 的新型零样本学习算法，通过在投影嵌入空间中使用在线聚类来估计类别质心并动态地聚合预测，从而在效果和效率上持续优于最先进的测试时间自适应方法。

    Jun, 2024

  • 定位潜在更新用于微调视觉语言模型

    提出一种轻量级的适配器方法，通过更新预测接近观察数据点的模型以加快更新速度，并保持经典微调方法外数据的正确性，以实现在小样本学习领域中，在训练过程中看得到和看不到的类别上结果均与或优于现有技术水平。

    Dec, 2022