利用面部视频检测老年人轻度认知障碍的 MC-ViViT 多分支分类器 - ViViT

Apr, 2023

利用面部视频检测老年人轻度认知障碍的 MC-ViViT 多分支分类器 - ViViT

MC-ViViT: Multi-branch Classifier-ViViT to Detect Mild Cognitive Impairment in Older Adults using Facial Videos

Jian Sun, Hiroko H. Dodge, Mohammad H. Mahoor

TL;DR本文提出了一种新的 Multi-branch Classifier-Video Vision Transformer (MC-ViViT) 模型，通过分析面部特征区分普通认知和轻度认知障碍 (MCI)。作者通过提出的 HP Loss 组合了 Focal Loss 和 AD-CORRE Loss 解决了数据集不平衡的问题，并在 I-CONECT 数据集上取得了 90.63% 的高准确率。

Abstract

Deep machine learning models including convolutional neural networks (CNN) have been successful in the detection of mild cognitive impairment (MCI) using medical images, questionnaires, and videos. This paper pro

mild cognitive impairment convolutional neural networks mc-vivit facial features imbalanced dataset

发现论文，激发创造

利用视频对话中的面部特征检测轻度认知损害

利用深度学习算法从视频中提取面部特征来检测老年人的轻度认知障碍（MCI），通过使用卷积自编码器提取空间整体面部特征和使用变换器提取时间信息的方法，该研究在 I-CONECT 行为干预研究数据中成功地检测了 MCI 病人与正常认知状况的病人，结合特定主题视频中面部特征信息的片段和序列信息可以提高预测性能，最终达到了 88% 的准确率。

Aug, 2023

基于语言的轻度认知障碍检测使用信息损失

该研究使用深度学习和自然语言处理技术，提出了一个框架，通过分析来自 I-CONECT 研究项目的视频访谈生成的文本，区分老年人的轻度认知障碍和正常认知状态。提出的 NLP 框架由两个基于 Transformer 的模块组成，分别为句子嵌入和句子交叉注意力。通过该框架，可以以平均曲线下面积为 84.75% 的准确率区分 MCI 和 NC。

Jan, 2024

利用词向量丰富复杂网络，从语音转录中检测轻度认知障碍

使用复杂网络和单词嵌入 (CNE) 对神经心理评估中的病人发出的短语的文本进行建模，通过 CNE 对复杂网络进行了丰富，以更好地表示这种非语法性的语音，从而实现了对 MCI 的自动识别。

Apr, 2017

多模态神经影像注意力模型用于认知衰退预测

该研究提出了一种新的多模态神经影像关注机制的卷积神经网络结构，MNA-net，用于预测在 10 年内正常认知个体是否会发展为轻度认知障碍或阿尔茨海默病。通过使用注意机制形成 MRI 和 PET 图像的共享表示，MNA-net 在 OASIS-3 数据集上进行了测试，并具有 83% 的准确率，80% 的真阴性率和 86% 的真阳性率，相比之前的工作准确率和真阴性率分别提高了 5% 和 10%，这些结果表明了该模型在预测认知衰退方面的潜力和通过融合不同神经影像模态的关注机制来改进预测的能力。

Dec, 2023

胶囊内镜和人工智能的交叉领域：利用机器学习应对独特挑战

研究介绍了视频胶囊内窥镜、人工智能以及 VCE 数据解释等主题，使用卷积神经网络准确识别解剖标记，以轻量级模型提高临床医生信心。

Aug, 2023

视觉属性提示学习用于逐步预测轻度认知衰退

利用视觉属性提示学习的转换器和提示微调来提取和融合多模态特征，有效地利用脑成像数据和临床信息，提高渐进性轻度认知障碍的诊断准确性。

Oct, 2023

MIVC：用于视觉语言模型的多实例视觉组件

本文提出了 MIVC，一种通用的多实例可视化组件，通过神经网络以排列不变的方式汇总视觉表示，以填补各种图像输入与预训练语言模型之间的差距。我们展示了 MIVC 如何整合到视觉语言模型中，显著提高了视觉问答、分类和标题任务的模型性能，并使用公共可用的电子商务数据集上的每个产品的多个图像展示了该组件对下游任务的贡献的见解。

Dec, 2023

MCF-VC: 缓解多模态视频描述中的类递增学习中的灾难性遗忘

解决视频字幕生成中的灾难性遗忘问题，通过细粒度敏感度选择和两阶段知识蒸馏方法，有效保持模型在新老任务上的性能。

Feb, 2024

在重症监护室使用多尺度视觉变压器，从低分辨率热视频预测护理活动评分

使用 Multiscale Vision Transformer（MViTv2）来 passively 预测 Intensive Care Unit（ICU）中的 Nursing Activities Score（NAS），以自动监控员工工作量。通过分析低分辨率的热成像视频记录，MViTv2 模型以直接和间接的方式预测 NAS，并在预测 NAS 方面表现出较高的准确性。

May, 2024

增强特征多样性提升通道自适应视觉变换器

通过使用一种新的通道采样策略来增强 MCI-ViT 模型的特征多样性，DiChaViT 方法在卫星和细胞显微图像数据集上实验证明其超过现有技术 1.5-5.0% 的性能提升。

May, 2024