- DSDL: 人工智能数据的模态和任务的数据集描述语言
在人工智能时代，通过引入数据集描述语言 (DSDL) 的框架，本文旨在简化数据集处理，提供一个统一的人工智能数据集标准，以解决数据模态和注释格式多样性造成的问题，从而改善人工智能开发的效率。
- 探索一种基于多模态融合的深度学习网络用于面瘫检测
通过融合多模态深度学习模型，利用非结构化数据（即带有面部线段的图像帧）和结构化数据（即面部表情特征），本研究旨在检测面部麻痹，并分析不同数据模式和多模态融合方法的效果，实验证明在不同数据模式中使用面部表情特征的前馈神经网络具有最高的准确率， - 基于时间序列分析的基础模型：教程与综述
时间序列分析基于 FMs 的模型设计范式的最新进展，强调其理论基础、发展的最新步伐和未来研究探索的途径。
- 多模态异常检测与推理的自定义视觉语言基础模型
本研究旨在开发一种适用于多个场景的通用异常检测模型，通过将视觉 - 语言基础模型定制为异常检测器和推理器，并引入多模态提示策略，将领域专家的知识作为条件来指导模型，在多模态输入表示中实现多模态异常检测和推理，从而提高异常检测性能。结果表明， - 部分联邦学习
我们提出了一种名为 Partial Federated Learning (PartialFL) 的新算法，该算法使用一部分数据模态或其中间表示来训练机器学习模型，并通过禁止数据标签传送到云端进行模型训练以提高隐私保护效果，我们在两个不同的 - 智慧：通过融合上下文世界知识来改进多模态情感分析
利用大型视觉语言模型（LVLMs）从上下文世界知识中获得增强的多模态情感分析的插件框架 WisdoM 的实验结果表明，在不同粒度的多模态情感分析任务中，我们的方法相比几种最先进的方法具有显著的改进（在五种先进方法中平均提高 1.89 F1 - 多模态联邦学习在非 IID 数据集上用于癌症分期与不平衡特征的研究
使用机器学习 (Machine Learning, ML) 和联邦学习 (Federated Learning, FL) 框架对医学影像进行癌症分期已引起了广泛的关注，并可以克服患者数据曝露的隐私问题。本文介绍了一种新颖的 FL 架构，可适 - 金融中的合成数据应用
合成数据在金融领域取得了巨大的进展，可以应用于各种数据模式，解决隐私、公平性和可解释性等问题。
- FATE: 基于 Transformer 的特征无关编码器用于学习流式细胞仪数据中的广义嵌入空间
通过学习一种通用的嵌入空间，我们提出了一种新型架构，能够直接处理具有不同特征集合的数据，从而实现对异构特征空间数据的共享潜在特征空间的学习。该模型的优势在于能够在不一致的特征空间中无缝操作，特别适用于数据稀缺的情况，例如急性髓性白血病流式细 - 基于双图的关注多模学习的微服务系统异常检测
本论文提出了一种基于图的半监督异常检测方法 ——MSTGAD，通过关注多模态学习，无缝地集成所有可用的数据模态，以实现对微服务系统中的异常进行实时自动准确检测。
- 多数据模态的人工智能通用计算：综述
AI 生成内容（AIGC）方法旨在使用 AI 算法产生文本、图像、视频、3D 资产和其他媒体。本文综述了跨不同数据模态的 AIGC 方法，包括单模态和多模态，重点介绍了各种挑战、代表性研究以及最近的技术方向，并在各种模态中提供了对多个基准数 - OmniDataComposer：多模态数据融合与无限数据生成的统一数据结构
OmniDataComposer 是一种创新的方法，用于多模态数据融合和无限数据生成，其核心突破在于引入一种协同处理和合并多模态数据输入的高效数据结构，促进模态之间的互相增强和跨模态数据校正，将视频输入转化为详尽的顺序文档，从而更容易为大型 - GCT-TTE: 旅行时间估计的图卷积变压器
该研究提出了一种基于 Transformer 的模型，用于解决旅行时间估计问题，利用不同的数据模式捕捉输入路径的不同属性并在路径感知和路径盲设置上进行了测试，在两个数据集上性能均优于现有模型，并部署为可访问的 Web 服务。
- 预训练基础模型综述：从 BERT 到 ChatGPT 的历史
本研究综述了最近的预训练基础模型技术的研究进展，重点探讨了这些技术在文本、图像、图形以及其他数据模态中的应用前景、挑战和机遇，同时也讨论了这些技术的基本组成、现有预训练方法和未来趋势。
- 工程设计中的多模态机器学习技术：回顾与未来方向
该综述探讨了多模式机器学习在工程设计任务中的应用，介绍了用作设计表示及涉及到多模式学习的不同的数据模式，简要说明了五种多模式数据的表示和融合方法、以及其在设计知识检索、设计评估和设计综合中可能的应用，同时强调在工程设计中使用多模式机器学习时 - 弱监督异常检测：一项综述
本研究是第一部弱监督异常检测方法的全面调查，将其分为三个弱监督设置，以及四种数据模态，并针对每种设置提供了形式化定义、关键算法和潜在未来方向。我们在选择的设置上进行了实验，并发布了源代码，以及一些弱监督异常检测方法和数据的收集。
- IJCAI混合人工智能智能交通监控
本文主要介绍 HANS 这一混合模型，它将知识图谱技术作为交通领域中 SOTA 推理的骨干，有效地解决了智能交通监测中的数据量和模态多和最先进推理需求的挑战。
- 野外模式再載：機器學習對抗訓練數據毒化安全綜述
本文对过去 15 年来关于机器学习中中毒攻击和防御的 100 多篇论文进行了全面的系统化概括和批判性点评，主要关注于视觉应用程序，并讨论了当前的限制和开放性的研究问题。
- 自监督表示学习：介绍、进展与挑战
介绍了自监督学习的基本概念、方法和应用，探讨了自监督学习在不同数据模态下的表现，包括图像、视频、音频和文本，并讨论了其实用性和存在的问题。
- Shifts: 多个大规模任务中的真实分布转移数据集
本研究提出了 Shifts 数据集，用于评估不确定性预测和对分布偏移的鲁棒性，并提供了基线结果和任务描述。