该论文提出了一种使用大型语言模型进行个性化多模态生成的方法，并通过实验验证了其性能，在推荐系统等应用中具有重要意义。

Apr, 2024

利用最新的人工智能和自然语言处理技术，本文介绍了自动化反馈的前沿领域，分析了其伦理问题，并提出了一个框架，以帮助学者负责地开发这样的系统。

Aug, 2023

基于多模态信息的序列到序列架构和课程负采样策略被设计，以解决基于人类经验生成文本的新问题，并在新的多模态体验数据集上进行了广泛的实验，取得了较大的改进。

Sep, 2022

本文提出了一种情感反馈合成系统，通过使用基于变压器的文本编码器和基于 Faster RCNN 的视觉特征提取器，并将二者进行拼接，构建了多模式特征向量，以此合成带有文本和图像输入的反馈，其结果表明合成的反馈语义上与真实观众的评论相似，且与给定的文本图像输入相关。

Mar, 2022

该研究全面探讨了多模态人工智能方法在教育环境中实现通用人工智能的途径，着重分析了人工智能在教育系统中的演进和整合，强调多模态学习（包括听觉、视觉、动觉和语言学习）的重要作用，研究深入探讨了通用人工智能的关键方面，包括认知框架、高级知识表示、自适应学习机制、战略规划、复杂语言处理和多样的多模态数据源整合，并批判性评估了通用人工智能在重塑教育范式、提高教学和学习效果、填补现有方法论空白以及在教育环境中解决伦理考量和负责任使用方面的潜力。该论文还讨论了多模态人工智能在教育中的意义，并提供对通用人工智能发展中未来方向和挑战的洞察。这项研究旨在为人工智能、多模态和教育的交叉领域提供细致的理解，为通用人工智能的未来研究和发展奠定基础。

Dec, 2023

本文综述了检索多模态知识以辅助和增强生成模型的方法，并提供了对从外部来源（包括图像、代码、表格、图形和音频）检索根据的关注点的深入探讨，包括事实性、推理、可解释性和鲁棒性。

Mar, 2023

通过文本、音频和视频的模态，利用多标签机器学习模型，自动对实时背景外科手术反馈进行分类，从而对外科培训中的技能提升有所帮助。

Dec, 2023

本研究关注于采用多模态人工智能实现诸如完成句子或回答问题等任务，探讨其伦理评估的挑战，并通过互动式人类反馈创造一个多模态伦理数据库，然后利用该数据库构建算法对模型的道德性进行自动评估，包括 RoBERTa 和多层感知器分类器等。

Apr, 2023

ImgAny 是一种新颖的端到端多模态生成模型，可以模仿人类推理并生成高质量图像。该方法能够有效且灵活地接收来自语言、音频和视觉等七种不同的模态组合，并通过实体融合分支和属性融合分支整合多个输入模态，并利用预训练的稳定扩散模型生成图像。大量实验证明了其在视觉内容创作方面的卓越能力。

Jan, 2024

UniMP 是一种统一的多模式个性化系统的范式，通过使用多模态数据并消除任务和模态特定定制的复杂性，充分发挥了基础生成模型的灵活性和效力，以实现广泛的个性化需求，包括物品推荐、产品搜索、偏好预测、解释生成和用户引导的图像生成。

Mar, 2024