ACLJun, 2020

利用多模态行为分析进行自动化职业面试表现评估和反馈

PDF
TL;DR本研究提出一个分析候选人面试情景中行为提示的多模态分析框架，并使用视频、音频和文本转录数据进行面部表情、语音和韵律信息全面分析，该分析用于训练机器学习分类器以预测类别标签，并为应聘者提供有益的反馈意见。实验表明该方法达到了良好的效果。
behavioral cuesemployee recruitmentmultimodal analytical frameworkmachine learning classifiersconstructive feedback
发现论文，激发创造
  • 职业面试表现的自动分析和预测

    该研究提出了一个计算框架，用于自动量化招聘面试中口头和非口头表现，通过分析在麻省理工学院进行的 138 个面试过程的视频来训练该框架，并能够自动预测面试特征的评分，给出面试技巧建议和发现第一印象对整体评分有影响。

    Apr, 2015

  • 跨语言认知洞察：提升多模式面试分析

    我们提出了一种多模态模型，能够预测轻度认知障碍和认知得分，通过对 TAUKADIAL 数据集进行评估，提取音频和文本特征，并将其结合成多模态架构以实现强大而广泛的结果。

    Jun, 2024

  • 在线教育的多模态研究比较

    在线教育中的学生理解度需要多模态方法进行感知识别和评估，结合姿势、表情、眼动和语言等多种线索，通过加权投票方式整合最合适的机器学习模型。

    Dec, 2023

  • 研究音频、视觉和文本融合方法，实现端到端的自动人格预测

    通过音频、文字和视频数据，采用多模态融合的方法，使用卷积神经网络预测大五人格特质分数，证明复杂交互能建立更好的模型与预测，该模型可用于提高虚拟代理的情商。

    May, 2018

  • 面部不对称：一种基于计算机视觉的面对面面试评估的行为度量指标

    使用行为计量学作为辅助工具来客观评估面试者，本研究提出了一种测量面部表情的方法，利用开源计算机视觉算法和库来分析面部不对称性。

    Oct, 2023

  • 深度多模态融合用于手术反馈分类

    通过文本、音频和视频的模态，利用多标签机器学习模型，自动对实时背景外科手术反馈进行分类，从而对外科培训中的技能提升有所帮助。

    Dec, 2023

  • 支持专家使用多模式机器学习工具进行对话视频中人类行为分析

    通过基于专家研究的设计考虑，我们开发了 Providence 工具，它是一个基于可视化编程的工具，致力于解决多模态场景搜索中存在的效率和客观性问题。该工具使专家能够结合多种机器学习算法捕捉人类行为提示，而无需编写代码。通过研究和实践验证，我们证实了该工具的可用性、输出质量和可定制性，并且证明了专家和人工智能团队在高度人类环境的领域中的优势。

    Feb, 2024

  • 面向个性化人类中心的多模态推理：一项新任务

    本研究通过构建新的基于《生活大爆炸》电视节目的数据集，并引入 MBTI 个性化能力，提出了一种新的人本多模态推理 (Personality-aware HMR) 任务及相应的基准方法，并在此基础上进一步提出了一项人格预测多模态推理 (Personality-predicted HMR) 任务及其对应的方法，实验证明个性化信息能够有效提高人本多模态推理的性能。

    Apr, 2023

  • AI 用于人类评估：专业评估员需要什么？

    本文介绍了一种 AI 辅助人力资源发展和人员评估的方法。利用无监督异常检测算法从视频中提取非语言行为信息，为人员评估提供支持，并保持人工评估师对系统的信任度。

    Apr, 2022

  • HireNet: 面向异步视频面试的分层注意力模型自动分析

    介绍 HireNet，一个基于异步视频面试收集的数据构成的 hierarchical attention model，可用于预测面试者的可聘用性，结论显示，HireNet 的多模态融合性能优于单一模态，但仍需更复杂的融合方案来提高性能，并且评测的关键时刻可能对求职者拥有帮助

    Jul, 2019