Dec, 2023

脑条件多模态综合：综述和分类

PDF
TL;DR人工智能生成内容（AIGC）时代的大脑条件多模态综合继续发展，通过建立不同模态之间的映射关系，将脑信号反解码为知觉体验，这对于开发实用的脑 - 计算机界面系统和揭示大脑感知和理解外界刺激的复杂机制具有重要意义。本综述全面研究了基于 AIGC 的脑条件多模态综合，即 AIGC-Brain，勾勒了当前研究现状和未来方向。
artificial intelligence generated contentconditional multimodal synthesisbrain-conditional multimodal synthesisaigc-brainbrain signals
发现论文，激发创造
  • 多数据模态的人工智能通用计算：综述

    AI 生成内容（AIGC）方法旨在使用 AI 算法产生文本、图像、视频、3D 资产和其他媒体。本文综述了跨不同数据模态的 AIGC 方法，包括单模态和多模态，重点介绍了各种挑战、代表性研究以及最近的技术方向，并在各种模态中提供了对多个基准数据集的比较结果。此外，本文还讨论了挑战和未来研究方向。

    Aug, 2023

  • 人工智能生成内容的综合调查（AIGC）：从 GAN 到 ChatGPT 的生成式人工智能历史

    该研究综述了生成模型的历史和基本组成部分，并从单模态和多模态交互的角度介绍了文本和图像生成任务及相关模型，讨论了人工智能生成内容领域中的开放性问题和未来挑战。

    Mar, 2023

  • Brainish: 为智能和意识规范化的多模式语言

    本文描述了一种名为 Brainish 的多模式语言，对其进行了定义、操作并评估了其在多模式预测和检索任务中展现智能的能力，并认为这种人工智能语言对于智能和意识的发展至关重要。

    Apr, 2022

  • 元数据条件生成模型合成解剖合理的 3D 脑核磁共振图像

    生成式人工智能模型在创建改进神经影像研究的合成脑 MRI 方面具有巨大潜力，但目前主要研究仅侧重于优化合成 MRI 的视觉质量，缺乏对其与神经科学的关联性的深入理解。然而，通过我们提出的新的生成模型 BrainSynth，我们首先实现了在 T1 加权 MRI 方面实现最先进视觉质量的元数据条件下（例如年龄和性别具体），并通过一种新的程序扩展了我们的评估方法，以量化解剖合理性，即合成 MRI 多少地捕捉到脑区的宏观结构特性，并且准确地编码了年龄和性别的影响。结果表明，我们合成的 MRI 中有一半以上的脑区在解剖上是准确的，即真实 MRI 与合成 MRI 之间存在很小的效应。此外，解剖合理性在皮层区域之间根据其几何复杂性而异。根据现有情况，我们的合成 MRI 可以显著改善卷积神经网络在独立研究中识别加速衰老效应的训练。这些结果突出了使用生成式人工智能来辅助神经影像研究的机会，并指出了进一步改进的方向。

    Oct, 2023

  • 生成对抗网络用于大脑影像合成的综述

    本文主要介绍了使用生成对抗网络（GAN）进行医学图像合成的研究。作者总结了最近应用 GAN 进行交叉模态大脑图像合成的进展，包括 CT 合成 PET、CT 合成 MRI、MRI 合成 PET 以及相反的方向。

    May, 2023

  • 通过多模态调节进行视频综合的展示和说明

    使用多模态生成框架，结合文本和图像训练双向变压器等多重输入来预测离散视频表示，同时提供改进的样本视频代币和文本增广，以及支持分割掩码、绘图和部分遮挡图像等不同视觉模态，可以通过文本提示生成对应视频，并在四个数据集上取得了最新的生成结果。

    Mar, 2022

  • 基于多模态增强现实和脑机交互的面向功能障碍人群的用户驱动智能界面

    本文提出了用户驱动的智能界面的新概念，它应用于各种领域中，如残疾研究，教育，家庭护理，医疗保健等，通过脑机交互等方式，利用多模态增强现实技术，以及通过机器学习等方法，分类实时神经物理反应的即时反馈，以克服当前可用用户界面的局限性，特别是针对功能残疾人群。即使在当前状态下，结合增强现实和脑机交互的接口也能提供高度适应性和个性化的服务。

    Apr, 2017

  • 图上多模态学习

    本文介绍了一种多模式图形学习的蓝图，该模型通过将不同模态的数据集组合成图形，并使用图形来利用跨模态的依赖关系，同时利用图形作为指导提供了图形学习方法的设计方案和指导，以解决在多模态数据集中学习的基本挑战。

    Sep, 2022

  • 复杂脑部疾病预测的不完整多模态学习

    本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

    May, 2023

  • 人工智能教育的多模态性：迈向人工通用智能

    该研究全面探讨了多模态人工智能方法在教育环境中实现通用人工智能的途径，着重分析了人工智能在教育系统中的演进和整合，强调多模态学习（包括听觉、视觉、动觉和语言学习）的重要作用，研究深入探讨了通用人工智能的关键方面，包括认知框架、高级知识表示、自适应学习机制、战略规划、复杂语言处理和多样的多模态数据源整合，并批判性评估了通用人工智能在重塑教育范式、提高教学和学习效果、填补现有方法论空白以及在教育环境中解决伦理考量和负责任使用方面的潜力。该论文还讨论了多模态人工智能在教育中的意义，并提供对通用人工智能发展中未来方向和挑战的洞察。这项研究旨在为人工智能、多模态和教育的交叉领域提供细致的理解，为通用人工智能的未来研究和发展奠定基础。

    Dec, 2023