情感信息的表达等于

  • 55%

    面部表情

  • 38%

    声音

  • 7%

    语言

EduBrain教学分析系统利用先进的情感计算技术,智能识别并分析教学场景中面部表情和语音语调所传递的
情感信息,感知课堂中的情感状态变化,从而提供即时的学情分析。

面部表情识别

Facial Expression Recognition

人类在表达同一情感时,面部肌肉运动具有一定的规律,不受性别、年龄、种族及受教育程度等因素的影
响。在课堂教学中,学生的表情变化可直接反映对教学内容的接受程度和对教师授课风格的喜好程度。

在教学视频图像中,找到并框出学生的人脸部分

从检测到的学生人脸图像定位68个人脸关键点,去判断面部活动单元变化,如:抬起内眉梢、抬起外眉梢、眉毛降低或靠拢(皱眉)、提升上眼睑、脸颊提升和眼轮匝肌外圈收紧、眼睑拉紧、闭眼、眨眼、皱鼻、提升上嘴唇、人中部位的皮肤向上、嘴角倾斜向上、急剧的嘴唇拉动、收紧嘴角、嘴角向下(撇嘴)、下唇向下、下唇向上、撅嘴、嘴角拉伸、双唇向外翻、收紧嘴唇、嘴唇相互按压、嘴唇分开、下颏下移、嘴唇绷紧张开、吸唇等,并进行位置配准

基于深度卷积神经网络算法进行学生人脸图像情感特征提取,得出情感特征向量

结合教学场景学生的情感状态,合理设计情感分析的分类器,输入情感特征向量,得出情感分析结果,高兴、中性、惊喜、伤心、生气、害怕、厌恶

  • 01/人脸检测

  • 02/人脸配准

  • 03/特征提取

  • 04/情感检测

语音情绪识别

Speech Emotion Recognition

自主神经系统的变化可以对人的语音产生间接影响,情感语音处理技术可以利用语音特征的计算分析来识别人类情绪状态。在教学场景中,教师和学生
在愉悦的状态下音域会更宽更高;而在疲劳、困惑等情绪下,语音倾向于变得缓慢、低沉与不清楚,语音分析可以高效地分析课堂情感状态。

从教学视频中提取分离音频信号

对语音进行预处理,提高语音质量

根据语音特性,进行声音活动检测,分离噪音、笑声、讨论、回答问题等多种模式

利用深度学习网络提取网络信号的高维度特征

筛选并构建大规模有标注语音库, 使用机器学习算法进行模型训练。提取并分析语音信号中的隐含情绪信息

  • 01/语音提取

  • 02/语音预处理

  • 03/声音活动检测

  • 04/特征提取

  • 05/情绪识别

课堂情感报告

In-class Emotion Report

EduBrain教学分析系统基于教学视频分析课堂中教师及学生的细微情绪变
化,结合教学方法论进行深度研究,将得出的结果进行可视化展示,向教
学管理者、教师及家长直观呈现学情报告,帮助教师优化教学方法,增强
学生的学习体验