multimodal named entity recognition | BriefGPT

关键词multimodal named entity recognition

搜索结果 - 11

CMNER: 基于社交媒体的中文多模态命名实体识别数据集
通过从中国最大的社交媒体平台微博获取数据，我们编制了一个包含 5000 个微博帖子和 18326 个对应图片的中文多模态命名实体识别数据集（CMNER）。我们在 CMNER 上进行了基准实验，结果表明将图像与 NER 相结合的有效性。此外，
PDF4 months ago
I2SRM: 跨样本关系建模用于多模态信息提取
该论文介绍了用于多模态信息提取的 Intra- and Inter-Sample Relationship Modeling (I2SRM) 方法，其中包含两个模块：内部样本关系建模模块和样本之间关系建模模块。通过在单个样本上操作来学习有效
PDF9 months ago
通过双向生成对齐学习多模态 NER 中的隐式实体 - 对象关系
该研究提出了一种名为 BGA-MNER 的双向生成对齐方法，用于解决多模态命名实体识别中的语义鸿沟、实体与图像中相关对象之间的匹配以及隐式实体 - 对象关系等问题。实验证明，该方法在推断过程中无需图像输入，取得了最先进的性能。
PDFa year ago
将大型预训练模型整合到多模态命名实体识别中，采用证据融合方法
提出一种结合不确定性评估的多模态命名实体识别框架，该算法模拟每种形式的分布并将它们融合成统一分布，以促进预测准确性和可信度。同时提出了一种利用大型预训练基础模型的高效融合方法，实验表明该方法优于基准并实现了新的最先进性能。
PDFa year ago
多模态命名实体和多模态关系抽取的思维链提示蒸馏
本研究探索了如何通过生成 “思考链” 从大型语言模型中提取出推理能力并综合常识推理能力，进而实现条件提示蒸馏，提高学生模型在 MNER 和 MRE 数据集上的效果。
PDFa year ago
基于 ChatGPT 的多模态命名实体识别方法：辅助细化知识的改进
本文提出了一个叫做 PGIM 的概念简单的两阶段框架，利用 ChatGPT 作为一个隐式知识引擎获得辅助精细化知识，从而增强 MNER 任务中模型的性能，通过 PGIM 可以显著优于现有所有最先进的方法。
PDFa year ago
基于变分信息瓶颈的多模态实体与关系抽取增强
文章研究了多模态命名实体识别和多模态关系提取的方法，并提出了一种基于信息瓶颈的多模态表示学习方法，该方法在三个公共基准测试上取得了最先进的性能。
PDFa year ago
AAAIMNER-QG：一种用于多模态命名实体识别的端到端机器阅读理解框架与查询引理
本文提出了一种新颖的端到端框架 MNER-QG，该框架可以同时执行基于 MRC 的多模态命名实体识别和查询接地任务，并通过查询的帮助提供识别实体类型和视觉区域的先验知识，进一步增强了文本和图像的表征。在 Twitter2015 和 Twit
PDF2 years ago
ACL良好的视觉指导使提取器变得更好：用于多模态实体和关系提取的分层视觉前缀
本文研究了基于多模态数据的命名实体识别和关系提取，提出了一种新的基于视觉增强的实体和关系提取方法，即分层视觉前缀融合网络（HVPNeT），通过使用动态门控聚合策略，利用多层次视觉特征进行视觉前缀的融合，从而实现更有效和稳健的性能，实验证明了
PDF2 years ago
AAAI基于文本图像关系传播的 BERT 模型用于多模态命名实体识别（Multimodal NER）
本文介绍了一种文本 - 图像关系传播的方法，将其集成到多模态 BERT 模型中，通过使用软或硬门选择视觉线索，并提出了一种多任务学习算法，实现对多模态命名实体识别数据集的训练，最终在该数据集上实现了最先进的性能。
PDF3 years ago
短社交媒体帖子的多模态实体识别
本研究提出 Multimodal Named Entity Recognition (MNER) 任务，针对用户生成的显式短文本和图像（如 Snapchat 详情）创建了一个新的数据集 SnapCaptions，并利用最先进的 Bi-LST
PDF6 years ago