Jul, 2024

跨域少样本情境学习用于提升交通标志识别能力

PDF
TL;DR本研究基于多模态大型语言模型（MLLM）提出了一种跨域少样本上下文学习方法，用于增强交通标志识别（TSR）的性能，并通过生成相应描述文本来改善 MLLM 对交通标志的细粒度分类能力。实验结果表明，该方法显著提高了 TSR 的性能。
multimodal large language modelsautonomous drivingtraffic sign recognitioncross-domain few-shot in-context learningmllm
发现论文，激发创造
  • 高效视觉 Transformer 用于准确的交通标志检测

    该研究论文解决了自动驾驶车辆和驾驶辅助系统中与交通标志检测相关的挑战，特别关注使用 Transformer 模型来提高检测的速度和准确性。

    Nov, 2023

  • 基于局部视觉变换器的交通标志识别

    通过结合卷积网络和 Transformer 网络的优势，本研究提出了一种新型的模型用于交通标志识别，实验证明该模型在德国和波斯交通标志数据集上超过了纯 Transformer 模型和最佳卷积网络的准确率，并且在保持快速推理速度的同时，更适合实际应用。

    Nov, 2023

  • 颠覆交通标志识别：揭示视觉变换器的潜力

    本研究引入了一种创新的基于深度学习技术的交通标志识别（TSR）方法，特别强调视觉变换器。实验评估结果表明，该方法在提高预测速度和准确性方面具有显著的效果，为 TSR 算法的精确可靠开发奠定了基础，受益于驾驶辅助系统和自动驾驶汽车。

    Apr, 2024

  • 大型语言模型作为交通信号控制代理：容量和机会

    LLMLight 通过利用大型语言模型（LLMs）进行交通信号控制任务，实现了人类般的决策过程，确保道路网络的最优效率。

    Dec, 2023

  • 优化交通标志识别：定制数据增强解决类别不平衡和样本匮乏问题

    通过定制化的数据增强技术以及包括合成图像生成、几何变换和基于障碍物的增强方法，该研究解决了交通标志识别中的关键挑战：类别不平衡和数据集稀缺。研究结果表明，在交通标志识别模型性能方面取得了显著改进，这对于交通标志识别系统具有重要意义。该研究不仅针对交通标志识别的数据集限制进行了探讨，还提出了适用于不同地区和应用领域类似挑战的模型，为计算机视觉和交通标志识别系统领域迈出了一步。

    Jun, 2024

  • 注意力驱动的多模态融合：增强手语识别和翻译

    本文研究了在连续手语识别和翻译中添加多模态信息的机制，通过将光流信息与 RGB 图像结合，丰富了与运动相关的特征。我们使用了一个轻量级的插件，不需要为新的模态包含单独的特征提取器，并在手语识别和翻译任务中应用了这些改变，提高了各自的性能。通过在 RWTH-PHOENIX-2014 数据集上进行评估，我们的方法在手语识别任务中将词错误率降低了 0.9，在翻译任务中，我们的方法在测试集上提高了大多数 BLEU 得分约 0.6。

    Sep, 2023

  • 基于预训练大型语言模型的交通预测框架：TPLLM

    TPLLM 是一种基于大型语言模型的交通预测框架，通过构建基于 CNN 的序列嵌入层和基于 GCN 的图嵌入层，提取序列特征和空间特征，并与 LLMs 集成，实现在有限历史交通数据地区的准确预测和良好的泛化能力。

    Mar, 2024

  • 一种基于 Transformer 的对比学习方法应用于少样本手语识别

    本研究提出了一种新的基于对比学习的变形注意力模型，该模型能够从身体关键点序列中学习丰富的表示，用于手语分类和翻译任务，并通过实验证明其可以推而广之。

    Apr, 2022

  • 现实道路场景中的交通标志解读

    我们提出了一个交通标志解释（TSI）任务，旨在将全局语义相关的交通标志（例如驾驶指令相关的文本、符号和指引面板）翻译成自然语言，为自动驾驶或辅助驾驶提供准确的指导支持。同时，我们设计了一个多任务学习架构来完成 TSI，负责检测和识别各种交通标志，并将其解释成类似人类的自然语言。在中国公路和城市道路的真实场景图像上进行的实验表明，即使标志之间存在复杂的语义逻辑，TSI 任务也是可实现的，而 TSI-CN 数据集和 TSI 架构的源代码将在修订过程后公开发布。

    Nov, 2023

  • 视频手语识别跨领域知识传递

    提出一种从互联网字幕手语新闻中学习转移知识的方法来克服手语物标数据稀缺和领域差异问题，该方法使用基于并联视觉概念和识别模型的特征对齐和记忆降低领域专有特征，得到了在手语识别方面的最新性能。

    Mar, 2020