Sep, 2023

看见和听见未被表达的内容：一种多模式客户行为分类器在激励性面谈中的可解释性融合

PDF
TL;DR多模态特征的分类器可以准确区分变化言谈，持续言谈和跟随 / 中性言谈，在 Motivational Interviewing 中进行精确分类至关重要。通过对可公开获得的 AnnoMI 数据集进行注释，我们训练了一个使用文本、语调、面部表情和体态表达等多模态特征的模型，进一步发现了决策过程中最重要的感知模态，提供了不同感知模态在 Motivational Interviewing 对话中的相互作用的有价值的洞见。
motivational interviewingmisc codeclient utterancesmultimodal featuresannomi dataset
发现论文，激发创造
  • EMMI -- 恻隐的多模态动机性访谈数据集：分析与标注

    通过研究多模式交互在治疗中的应用，可以深入理解治疗师和患者的行为，从而开发支持治疗的多模式虚拟代理。本研究旨在揭示治疗师如何巧妙地将治疗任务目标（应用经典的激励性面谈步骤）与社交目标（建立信任关系和表达同理心）相结合，并将患者分为不同的 “类型”，需要量身定制的治疗方法。通过多模式注释的模拟激励性面谈对话语料库，本研究分析了治疗师和患者的功能行为，以开发强调社交和同理心行为的多模式虚拟代理。分析结果发现了三类在行为和治疗师对这些类型的行为和适应性的差异方面表现出显著差异的患者群体，展示了治疗师根据对话的当前情况和用户类型能够调整自身行为的重要性。

    Jun, 2024

  • M3TCM：面向动机访谈中话语分类的多模态多任务上下文模型

    M3TCM 是一种多模态、多任务的上下文模型，通过多任务学习有效地建模治疗师和客户行为的共同和个体组成部分，并整合了文本、语音模态以及对话上下文的信息，相对于最新推出的 AnnoMI 数据集，我们的创新方法在客户和治疗师话语分类方面的性能提升达到 20% 和 15%。

    Apr, 2024

  • 观察治疗对话：行为编码分类和预测

    本文使用对话模型来分析行为特征，实现实时指导，探讨应对物质滥用问题有效的 Motivational Interviewing 治疗方式。

    Jun, 2019

  • 在线同行咨询平台上的激励性访谈策略建模

    本研究解决了在线点对点支持会话中缺乏关于同行辅导员行为系统心理学评价与客户满意度的研究，使用 17 种情境式采访技巧标注了 14,797 个言论，自动标记同行辅导员对情境式采访技术的反应，通过相关性研究探讨了采访技术对会话表现的影响，发现当辅导员使用反映和肯定等技术时，客户更为满意；观察志愿辅导员技术使用的变化表明，辅导员在经验积累时学会使用更多的介绍和开放性问题。该研究可提供对同行辅导员平台上情境式采访技术的深入理解，并为建立更好的在线培训课程提供了新的视角。

    Nov, 2022

  • 为预训练语言模型整合非语言线索而文本化多模态信息

    本文研究了如何将非语言性特征（例如视觉和听觉）转化为对应的文本描述，并将其与口头文本结合，从而将多模态信息整合到基于文本的预训练大语言模型中。我们称此方法为 TextMI，并在情感、幽默和讽刺检测等多个下游任务中进行了 fine-tune，取得了令人满意的性能，因此提出将 TextMI 作为低资源环境下多模态行为分析任务的通用、有竞争力的基准。

    Mar, 2023

  • 咨询对话中客户话语分类的对话模型微调

    通过利用匿名化的在线辅导对话数据集并利用 ConvMFiT，定义有意义的类别以分类客户话语，该模型优于现有模型的性能，并确认模型与期望的语言模式相关的注意权重。

    Mar, 2019

  • 多模式学习系统中的互信息分析

    本文研究了多模态信号处理和分析的应用，通过利用信息计量的概念和 InfoMeter 系统，分析了自动驾驶的大规模数据集中的多模态 3D 物体检测系统，并提出了低模态间信息量对于检测准确性有益的新见解。

    May, 2024

  • 通过主体解混的方法实现多模态人类意图理解的细节解偏

    通过引入一种叙述性因果图和分析主体的混淆效应的方法，我们提出了 SuCI，这是一个简单而有效的因果干预模块，可以消除主体作为未观察到的混淆因素的影响，并通过真实的因果效应对模型进行训练。全面的实验结果清楚地证明了该模块的有效性。

    Mar, 2024

  • 基于归纳推理的心理访谈中少样本对话策略学习

    构建对话系统（对激励用户采用积极生活方式改变的任务）需要一个能够有效地推断如何激励用户的系统。我们提出了 DIIT 框架，它能够从专家示范中学习和应用对话策略（自然语言归纳法则）。自然语言策略描述的自动化和人工评估表明，DIIR 发现的自然语言策略描述能够改善积极倾听技巧，减少主动给出建议，并促进更协作和不过于权威的回应，胜过各种示范利用方法。

    Mar, 2024

  • 采用动机访谈策略提升心理困扰支持对话响应

    本研究利用在线支持论坛的对话数据，使用名为 MITI 的行为编码模式，尝试识别在在线心理疾患支持对话中存在的符合和不符合类型，并构建重述器使用数据增强和提示技术来提高 Chatbot 的 MI 一致性。经过自动和人工评估，本研究证明了该方法在数据量较少时也能产生反映预期风格且保留原始文本内容的好的重述结果。

    May, 2023