最近，人们积极地将脑电图（EEG）信号用于解码对视觉或文本刺激的脑活动，并在多模态人工智能中实现物体识别。本研究提出了一个新的大规模多模态数据集，名为 EIT-1M，其中包含 100 万个 EEG 图像 - 文本对。我们的数据集在同时处理多模态信息的脑活动的能力方面具备优势。为了验证 EIT-1M 的有效性，我们对跨不同类别和参与者的多模态刺激所捕获的 EEG 数据进行了深入分析，并提供了数据质量评分以确保透明性。我们展示了 EIT-1M 在两个任务上的有效性：1）根据视觉或文本刺激或两者均进行 EEG 识别，2）EEG 到视觉生成。

Jul, 2024

通过研究多模式交互在治疗中的应用，可以深入理解治疗师和患者的行为，从而开发支持治疗的多模式虚拟代理。本研究旨在揭示治疗师如何巧妙地将治疗任务目标（应用经典的激励性面谈步骤）与社交目标（建立信任关系和表达同理心）相结合，并将患者分为不同的 “类型”，需要量身定制的治疗方法。通过多模式注释的模拟激励性面谈对话语料库，本研究分析了治疗师和患者的功能行为，以开发强调社交和同理心行为的多模式虚拟代理。分析结果发现了三类在行为和治疗师对这些类型的行为和适应性的差异方面表现出显著差异的患者群体，展示了治疗师根据对话的当前情况和用户类型能够调整自身行为的重要性。

Jun, 2024

本研究介绍了 MTAM（MultimodalTransformer Alignment Model）方法，通过引入规范化关系和 Wasserstein 距离等算法，实现了将语言和电生理信号转换为高级联合表示，提高了情感分析和关系检测精度，从而研究两者在表征层面的关系。

Aug, 2022

我们介绍了 Efficient Monotonic Multihead Attention（EMMA），一种具有数值稳定性和无偏单调对齐估计的先进的同时翻译模型。另外，我们提出了改进的训练和推理策略，包括通过离线翻译模型进行同时微调和减少单调对齐方差。实验结果表明，所提出的模型在西班牙语和英语翻译任务中实现了最先进的性能。

Dec, 2023

本文提出了一种基于 transformer 和回归模型的方法，利用眼动追踪数据预测多语言数据集中人类阅读模式的统计指标，通过模型训练和比较不同的 transformer 模型，我们在 CMCL 2022 共享任务中取得了显著的成果，获得了 SubTask-1 第 4 名和 SubTask-2 第 1 名的好成绩。

Mar, 2022

创建了 WebQAmGaze—— 一个多语言低成本的阅读时眼动追踪数据集，旨在支持公平和透明的 NLP 模型的开发。WebQAmGaze 包括来自 332 个参与者的网络摄像头眼动跟踪数据，这些参与者以自然的方式阅读英语、西班牙语和德语文本。数据预处理后，我们发现对相关段落的注视似乎提示了对问答理解正确性的影响。此外，我们进行了数据采集的比较分析。结果显示，Webcam-ET 获取的特征与商用 ET 设备的特征之间具有中等相关性。我们认为，这些数据可以推进基于网络摄像头的阅读研究，并开辟了更便宜、更易用的数据采集途径，对学习问答背后认知的过程以及将这些见解应用到语言理解的计算模型中都有帮助。

Mar, 2023

将神经生理学的先前知识融入神经网络结构可提高情绪解码的性能。通过引入一种称为 EmT 的新型变压器模型，将 EEG 信号转换为时态图形式，并设计了一种用于学习时态上下文信息的模块，EmT 在广义跨受试者 EEG 情绪分类和回归任务中表现出色。

Jun, 2024

通过提出一个新的方法和新的数据集，本文致力于提高多模式机器翻译的翻译质量并解决了只能利用少量数据和当前的基准相对较为受限约束的问题，结果表明我们的方法更适合实际场景并显著提高了翻译性能。

Dec, 2022

基于脑电图 (EEG) 的情绪识别引起了重要关注，在神经信号处理和情感计算等领域有了多样化的发展。然而，个体的独特脑解剖结构导致不可忽视的自然差异，在主题间情绪识别中存在挑战。为了克服这些限制，我们开发了一个基于预训练模型的多模式情绪识别器，利用脑信号建模和空间 - 时间注意机制来学习通用的脑电图表示，并在不同维度和模态中最大化功能的优势。广泛的公共数据集上的实验证明了情绪识别器在跨主题情绪识别任务中的卓越性能，优于现有方法。此外，该模型从注意力的角度进行了剖析，为神经信号处理领域的情感研究提供了有价值的洞察。

May, 2024

通过引入 3AM 数据集，本文提出了一种新的解决方案来改善多模态机器翻译中存在的视觉信息不足的问题，并通过提供更具含糊性和更多种类的数据集，实现了对现有多模态机器翻译数据集更好的训练效果，进一步促进了多模态学习领域的研究和探索。

Apr, 2024