COLINGSep, 2022

基于选择性注意力和自然对抗学习的多模态评论帮助性预测

PDF
TL;DR本文提出了一种名为 SANCL 的选择性关注和自然对比学习的方法，应用于多模式评论有用性预测，通过构建自然匹配属性的对比学习框架，以及通过探测策略加强对重要性高的区域的关注，达到了当前最先进的基线性能，并具有更低的内存消耗。
发现论文，激发创造
  • 多模态 Transformer 上的自适应对比学习用于评论有用性预测

    本研究旨在提高现代评论有用性预测系统的性能，提出了一种基于多模态对比学习的方法，聚焦于输入模态之间的信息，提高了跨模态关系的显式表达，并引入自适应加权策略以提高优化的灵活性，同时提供了多模态交互模块以解决多模态数据的分布不一致问题，实验证明该方法优于基线算法，在两个公开数据集上实现了最先进的结果。

    Nov, 2022

  • 多模态评论有用性预测中基于列表上下文模型的梯度提升决策树

    本研究提出了一种多模态评论有用性预测 (MRHP) 模型，使用 listwise attention 网络和 gradient-boosted 决策树作为评分预测器，可显著提高了模型的泛化性和整个评论列表的排名效率。

    May, 2023

  • 电子商务中基于评论引导的有用答案识别

    本文提出了一种基于评论引导的答案有用性预测模型，该模型不仅考虑了 QA 对之间的交互，还探讨了答案与众筹意见之间的意见连贯性作为识别有用答案的另一个重要因素，并探索了利用预训练策略将从一个特定设计的经过训练的网络中获得的文本推理知识转移的方法。该模型在七个产品类别上进行的广泛实验表明，其在预测任务中的表现优异。

    Mar, 2020

  • 在线临床时间序列多模态对比学习

    利用先进的自监督多模式对比学习技术， 注重临床笔记和时间序列，我们引入了一种损失函数：多模式邻域对比损失 (MM-NCL)，展示了我们方法在线预测任务中出色的线性验证和零样本表现。

    Mar, 2024

  • 多模态检索与排序的广义对比学习

    我们提供了一个大规模的数据集，以促进未来的研究和评估，随后我们提出了一种用于多模态检索和排序的广义对比学习方法 (GCL)，其设计用于从细粒度排序中学习，实验结果表明，与基线模型 CLIP 相比，GCL 在域内任务中的 NDCG@10 增加 94.5%，在冷启动评估中增加了 26.3 至 48.8%。

    Apr, 2024

  • RAR: 检索与排序增强型 MLLM 用于视觉识别

    CLIP 和 Multimodal Large Language Models（MLLMs）在识别广泛的候选人方面具有优势，RAR 结合了两种方法的优点，并通过建立多模式检索器和对 MLLMs 进行排名来提高对广泛和细粒度词汇的几次 / 零次识别能力，该方法在细粒度视觉识别、几次拍摄图像识别和零次识别设置下的物体检测等任务中显著提升了准确性。

    Mar, 2024

  • 多模态谣言检测的知识增强层次信息相关学习

    本文提出了一种基于知识增强的分层信息相关学习方法（KhiCL），通过同时建模基本语义相关性和高阶知识增强实体相关性来进行多模态谣言检测。

    Jun, 2023

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 层次网络多粒度融合的跨模态相关学习

    本文提出了一种跨模态相关学习方法，通过层级网络的多粒度融合实现多级别关联，在保留内 - 外模态互补上下文的同时，采用多任务学习策略平衡内 - 外模态的约束，成功地将粗细模型进行融合以实现精确的跨模态相关性，实验结果表明我们的方法在多个数据集上表现出色。

    Apr, 2017

  • 推荐的监督对比学习

    这篇论文提出一种名为 SCL 的学习范式，支持图卷积神经网络，同时加入了数据预处理过程中节点之间的相似度计算和节点复制的数据增强方法，经实验证明可以提高推荐准确度和抗干扰能力。

    Jan, 2022