多语言多模态:数据集、技术、挑战和机遇的分类调查
本文探究了多模态语言模型的研究,集成了多种数据类型,如图像、文本、语言、音频和其他异构数据。通过合并各种模态,多模态模型能够更全面地理解和处理多样化的数据,本文旨在促进对多模态模型及其在各领域中的潜力的更深入理解。
Nov, 2023
多模态机器翻译是近年来引起学术界和工业界广泛关注的研究领域,本文通过综述先前的 99 项研究工作,全面总结了主要模型、数据集和评估指标,分析了各种因素对模型性能的影响,并讨论了未来该领域的研究方向。与之前限制在早期多模态机器翻译的调查不同,我们的调查从不同角度深入总结了这些新兴类型,以便为研究人员提供对目前研究状况的更好理解。
May, 2024
综述了自 2020 年以来推动这些创新的数据集和应用程序,对数据集进行了概述和分类,包括基于语言、多模态和可转换的数据集,强调了数据集对改善体育迷体验、支持战术分析和医学诊断等各种应用的贡献,并讨论了数据集开发的挑战和未来方向。该综述为希望在体育领域利用自然语言处理和多模态模型的研究人员和实践者提供了基础资源,提供了关于当前趋势和未来机会的洞察。
Jun, 2024
多模态机器学习作为一个充满潜力的多学科领域,在不断发展和完善,其普遍的分类包括:表示、翻译、对齐、融合和协同学习。该研究旨在通过共性的分类方式,综合总结目前该领域的研究进展,以期为未来的研究指明方向。
May, 2017
本综述以数据为中心的视角全面回顾多模态大型语言模型的文献,探索了在多模态数据准备、预训练和适应阶段的方法,分析了数据集的评估方法和评估多模态大型语言模型的基准。此外,本综述还概述了未来的研究方向,以便为研究人员提供对多模态大型语言模型的数据驱动方面的详细理解,推动该领域的进一步探索和创新。
May, 2024
该论文旨在研究和探索使用任务和语言之间的相关性来构建需要较少手动注释数据的自然语言处理模型,通过研究 60 种语言的多种 NLP 任务,该论文表明了联合多任务和多语言建模的潜力,并暗示从这些模型中可以获得语言学洞见。
Sep, 2018