JIAOTONGUNIVERSITY
学士学位论文
THESISOFBACHELOR
论文题目：基于脑电信号的情绪识别
学生姓名:学生学号:专业:指导教师:学院(系):
朱嘉祎5090309246计算机科学与技术吕宝粮电子信息与电气工程
上海交通大学本科生毕业设计（论文）任务书
课题名称：
基于脑电信号的情绪识别
执行时间：2012年12月至2013年6月
教师姓名：学生姓名：专业名称：学院(系)：
吕宝粮
职称：
朱嘉祎
学号：
计算机科学与技术
电子信息与电气工程
教授5090309246
毕业设计（论文）基本内容和要求：
理解掌握基于脑电的情绪识别研究的常用方法
基于脑电的情绪识别的主要步骤包括:情绪的诱发、脑电信号的采集、脑电信号的预处理、特征提取、特征降维、情绪模式的学习和分类等。
通过查阅资料和实验过程，对上述各个步骤加以了解和实践。
理解掌握常用的情绪分类模型 目前最常见的分类方法是Lange的二维情绪分类模型等。
通过查阅资料，理解情绪分类模型的意义。
理解掌握常用的脑电信号的采集和预处理方法 脑电信号的采集通常包括信号的提取和放大，而预处理算法则主要指去除信号伪迹、信号增强算法等。
数字滤波和独立成分分析等算法可实现脑电信号的去伪迹以及信号增强。
通过查阅资料和实验过程，理解各种常用的脑电信号的预处理方法并实践了解。
理解掌握常用的脑电信号特征及其提取方法 常见的脑电特征主要分为三类:时域特征、频域特征和时频特征。
时域特征的提取主要分析波形的几何性质；频域特征的提取则主要基于各频段的功率；时频特征的提取包括快速傅里叶变换、小波变换等方法。
另外，还有事件去同步化和相关同步化等其他相关特征。
通过查阅资料和实验过程，理解并实践各种脑电信号特征的提取方法。
理解掌握常用的情绪模式的学习和分类方法 学习方法分为无监督学习和有监督学习两大类。
目前常用的模式分类方法包括模糊聚类、K均值、自组织映射、隐马尔可夫模型方法、人工神经网络方法、支持向量机模型方法等。
通过查阅资料和实验过程，对常用的情绪模式的学习和分类方法有所认识和实践。
设计实验，获取研究数据，进行分析和处理 通过实验选取和改进基于脑电的情绪识别算法 通过实验，设计出相对高效的基于脑电的情绪识别算法，包括脑电信号的预处理方法、脑电信号的特征提取方法、相关特征的模式分类方法等。
2 毕业设计（论文）进度安排： 序号毕业设计（论文）各阶段内容 时间安排
1 选择课题，对其进行初步的了解和认识 2012.12
2 阅读文献资料，了解相关算法 2013.1-2013.3
3 实践各种算法，并设计进行情感识别的实验
2013.3-2013.4
4 设计基于脑电的情绪识别算法 2013.4-2013.5
5 完善基于脑电的情绪识别算法 2013.5
6 撰写论文 2013.5 备
注 课题信息：课题性质：设计课题来源*：国家级 项目编号其他 学院（系）意见： 论文 省部级 校级 973项目2013CB329401 指导教师签名： 横向 预研 年 月 日 院长（系主任）签名： 年 月 日 学生签名：
3 年 月 日 上海交通大学毕业设计（论文）学术诚信声明 本人郑重声明：所呈交的毕业设计（论文），是本人在导师的指导下，独立进行研究工作所取得的成果。
除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。
对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。
本人完全意识到本声明的法律结果由本人承担。
作者签名： 日期： 年月日 上海交通大学毕业设计（论文）版权使用授权书 本毕业设计（论文）作者同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。
本人授权上海交通大学可以将本毕业设计（论文）的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本毕业设计（论文）。
保密□，在年解密后适用本授权书。
本论文属于 不保密□。
（请在以上方框内打“√”） 作者签名：日期：年月日 指导教师签名：日期：年月日 基于脑电信号的情绪识别 基于脑电信号的情绪识别 摘要 情绪在很大程度上反映了人类的认知和态度，随着脑科学和心理学的发展，情绪识别已经逐渐被人们所重视，成为该领域的研究重点之
一。
本课题就基于脑电信号的情绪识别进行研究，这一课题对于现今脑机接口、驾车安全系统等的研究都有着一定的价值。
在本课题中，笔者通过情绪刺激实验诱发出被试者愉悦快乐和悲伤沉痛两种情绪状态，然后采集被试者的脑电信号，运用短时傅里叶变换提取出脑电信号中的微分熵(DE)、左右脑微分熵不对称差（DASM）和左右脑微分熵不对称商（RASM）特征，利用线性动力系统（LDS）进行特征平滑后，输入支持向量机（SVM）分类器中进行学习分类，又采用了主成分分析（PCA）和最小冗余最大相关（MRMR）算法对脑电特征进行选择和降维。
通过研究，笔者发现，基于脑电信号的情绪识别是有效而可行的，其中，DASM和RASM特征能够包含不少于微分熵的情绪信息；而LDS特征平滑和MRMR特征降维均能够有效提升情绪识别的准确率；脑电信号中的情绪信息大多集中在高频段内，Gamma频段的识别效果最好，Beta频段其次，Alpha、Theta和Delta频段则效果较差。
关键词：脑电信号，情绪识别，微分熵，线性动力系统，最小冗余最大相关，关键频段 基于脑电信号的情绪识别 EEG-BASEDEMOTIONRECOGNITION ABSTRACT Theemotionlargelyreflectshumans’cognitionandattitudes.Alongwiththedevelopmentofbrainscienceandpsychology,emotionrecognitionhasgraduallybeenpaidattentiontoandingtheresearchfocusinthisfield.iconEEG-basedemotionrecognitionhasacertainvalueontoday’sresearchofbrain-machineinterfacesanddrivingsafetysystem.Inthisissue,throughtheemotionalstimuliexperiment,theauthorinducedsubjects’twokindsofemotionalstateswhicharehappinessandsadness,andthencollectedthesubjects’EEGdata.Afterthat,theauthorusedshort-timeFouriertransformtoextracttheEEGdifferentialentropy(DE)features,theasymmetrydifferencesofDE(DASM)featuresandtheasymmetryratiosofDE(RASM)features.Afterusingalineardynamicsystem(LDS)tosmoothfeatures,theauthorthenusedthelinearsupportvectormachine(SVM)classifiertoclassifytheemotionstates,andalsousingtheponentanalysis(PCA)andminimumredundancymaximumrelevance(MRMR)algorithmtodotheEEGfeaturedimensionreduction.Fromtheresearch,theauthorfoundthattheEEG-basedemotionrecognitioniseffectiveandfeasible,inwhich,theDASMandRASMfeaturescancontainasmuchinformationasthedifferentialentropyfeatureswhiletheLDSandtheMRMRalgorithmsarebothabletoenhancetherecognitionuracyeffectively.TheinformationofEEG-basedemotionismostlyconcentratedinthehighfrequencyband.SotheGammabandhasthebestrecognitionperformanceandtheBetabandisthesecondbestone.However,theAlpha,ThetaandDeltabandsarelesseffective. Keywords:EEG,emotionrecognition,differentialentropy,LDS,MRMR,keyfrequencyband 目录 基于脑电信号的情绪识别 第一章绪论------------------------------------------------------------------11.1研究的目的和意义-------------------------------------------------------11.2国内外研究现状--------------------------------------------------------11.3工作介绍--------------------------------------------------------------11.4本章小结---------------------------------------------------------------
2 第二章大脑和情绪------------------------------------------------------------32.1大脑的结构及功能-------------------------------------------------------32.1.1大脑的组成与结构--------------------------------------------------32.1.2大脑皮质的结构与功能----------------------------------------------32.2脑电的产生机制--------------------------------------------------------42.3脑电的采集------------------------------------------------------------42.4脑电的频段特征---------------------------------------------------------52.5情绪及其产生-----------------------------------------------------------52.5.1情绪的定义---------------------------------------------------------52.5.2情绪的产生---------------------------------------------------------52.6情绪分类及情绪模型-----------------------------------------------------52.6.1情绪的分类---------------------------------------------------------52.6.2情绪模型-----------------------------------------------------------62.7情绪的诱发------------------------------------------------------------62.7.1情绪性材料诱发-----------------------------------------------------62.7.2情绪性情境诱发-----------------------------------------------------62.7.3本课题中使用的情绪诱发方式-----------------------------------------72.8情绪的识别方法--------------------------------------------------------72.9本章小结---------------------------------------------------------------
7 第三章实验------------------------------------------------------------------83.1实验目的--------------------------------------------------------------83.2刺激材料--------------------------------------------------------------83.3被试情况--------------------------------------------------------------83.4实验环境--------------------------------------------------------------
9 基于脑电信号的情绪识别 3.5实验过程-------------------------------------------------------------103.6注意事项-------------------------------------------------------------113.7实验评价-------------------------------------------------------------123.8本章小结-------------------------------------------------------------12第四章算法-----------------------------------------------------------------134.1脑电信号的预处理------------------------------------------------------13 4.1.1去伪迹------------------------------------------------------------134.2特征提取-------------------------------------------------------------14 4.2.1离散傅里叶变换和短时傅里叶变换------------------------------------144.2.2功率谱密度和微分熵------------------------------------------------154.3特征平滑-------------------------------------------------------------154.3.1滑动平均----------------------------------------------------------154.3.2线性动力系统------------------------------------------------------154.4情绪模式的学习和分类--------------------------------------------------164.4.1支持向量机--------------------------------------------------------164.4.2K最近邻----------------------------------------------------------174.5特征降维-------------------------------------------------------------184.5.1主成分分析--------------------------------------------------------184.5.2最小冗余最大相关--------------------------------------------------194.6本章小结-------------------------------------------------------------19第五章实验结果-------------------------------------------------------------205.1数据预处理------------------------------------------------------------205.2特征提取--------------------------------------------------------------205.3特征平滑--------------------------------------------------------------225.4学习分类--------------------------------------------------------------245.4.1线性SVM分类-----------------------------------------------------245.4.2K最近邻分类------------------------------------------------------295.5特征降维--------------------------------------------------------------305.6本章小结--------------------------------------------------------------35第六章结论与展望-----------------------------------------------------------36参考文献--------------------------------------------------------------------38谢辞------------------------------------------------------------------------40 第一章绪论 基于脑电信号的情绪识别 1.1研究的目的和意义 情绪是综合了人意识和行为的表现，在很大程度上反映了人对事物的认知和态度。
在日常生活中，情绪无处不在，特别是在人际交往中有不可忽视的影响。
同样的，在高级人—机交互系统中，基于计算机技术的情绪识别起到了非常关键的作用。
情绪识别因其意义重大、应用广泛，已然成为现今神经科学、心理学和计算机科学研究的热门重点，是人工智能的一大突破。
比如在残疾人护理方面，对于那些无法通过语言或动作表达感受的人来说，只有用计算机对其情绪进行检测，才能选择最舒适的护理方式；在驾车安全方面，通过情绪识别可以避免司机在开车时过度激动或过于疲劳，从而大大减少车祸的发生。
情绪识别的方法主要分为两大类：基于非生理信号的识别和基于生理信号的识别。
基于非生理信号的识别主要包括对面部表情和语音语调的识别。
但是，面部表情和语音语调都可以刻意隐藏，甚至有人在这些方面会有表达上的障碍，所以，这类情绪识别的方法并不可靠，也不够实用。
而基于生理信号的识别则指对脑电、肌电、心电、皮肤阻抗、心率和呼吸信号等的监测来获得情绪状态，其中，基于脑电信号的情绪识别因其识别成功率高、评价标准清晰、设备又较易获得，成为了如今比较常用的情绪识别方式。
本课题的研究重点为采集多组脑电数据，并尝试多种脑电信号的处理算法，分析脑电信号在不同情绪状态下的不同表现，从而实践基于脑电信号的情绪识别的可行性，提高识别准确率，同时研究得到与情绪变化密切相关的频段。
1.2国内外研究现状 目前，国内外在基于脑电信号的情绪识别领域都有了一定的研究进展。
BartelsG等[1]研究得出了脑电信号预处理中有效的去伪迹算法，脑电信号中的伪迹包括眼电、肌电、心电等，BartelsG等使用Amuse算法来去除眼电噪声，用Infomax算法来去除肌电噪声，并且较为成功地去除了伪迹，得到了更纯净的脑电信号。
Christos等[2]将国际情感图片系统作为刺激材料，采集通过图片诱发出情感这一事件的相关电位（P100，P200，P300，N100，N200），并将这些电位的时域信号和Delta、Theta、Alpha频段上的频域信号作为分类特征，用于情感的识别，并且效果较好。
NieD等[3]以视频作为刺激材料诱发出正面和负面两类情绪，然后选择了50个与情绪识别相关度最大的共同特征，通过分析这些特征所对应电极导联的位置和相应的频段，发现了与情绪相关的脑电信号主要产生于Gamma频段的左额叶和右颞叶，Beta频段的中间区域和Alpha频段的右枕叶和顶叶。
1.3工作介绍 本课题将着重研究脑电信号在愉悦快乐时和悲伤沉痛时的不同趋势，并利用这种不同来预测被试当时的情绪状态。
在目前国内外研究的基础上，笔者尽可能使用有效的实验诱发被试者的情绪并采集脑电数据，同时选择了数种不同的脑电信号处理算法进行分析和对比，并尝试找出与情绪变化关系密切的频段。
在实验中，笔者利用分别带有愉悦快乐和悲伤沉痛的视频片段作为刺激材料诱发被试者相应的情绪，一共邀请了四名被试者参与实验，每名被试者均进行了两次实验，因此笔者最终采集到了八组脑电数据。
在数据处理的过程中，笔者尝试采用短时傅里叶变换（STFT）、 第1页共40页 基于脑电信号的情绪识别 滑动平均（MA）、线性动力系统（LDS）、支持向量机（SVM）、K最近邻（KNN）、主成分分析（PCA）、最小冗余最大相关（MRMR）等算法的不同组合来处理脑电数据。
最终笔者将通过这些算法的不同效果来获得基于脑电信号的情绪识别的最优数据处理方法，以及通过研究被试在不同频段的识别效果来获得最能反映人类情绪特征的频段。
1.4本章小结 在本章中，笔者主要介绍了基于脑电的情绪识别的目的和意义，举例说明了国内外在该领域的研究现状，同时概述了在本课题中用到的算法和解决的问题。
第2页共40页 第二章大脑和情绪 基于脑电信号的情绪识别 2.1大脑的结构及功能 2.1.1大脑的组成与结构 人脑，由端脑、间脑、小脑和脑干组成，是中枢神经系统的重要部分之
一，而大脑则包括了端脑和间脑两部分。
端脑由左右两个大脑半球组成，负责产生意识感觉和控制肢体运动等高级功能的实现，在解剖医学上，我们认为端脑即是大脑。
大脑的两个半球主要由、神经纤维髓质和大脑皮质组成。
其中，大脑皮质是一层覆盖在端脑表面、由神经元组成的灰质，神经纤维髓质则是大脑皮质深层的白质，而基底神经节则组成了在髓质中以纹状体为主的核。
大脑的基本构成单位是神经元，人脑的神经元数约达1011个左右。
神经元之间以电和化学的方式互相传递信号，依靠复杂多样的突触连接来实现一个庞大的自调控、自学习、自组织的神经系统。
2.1.2大脑皮质的结构与功能 大脑皮层是包裹在大脑两个半球外侧的皮层状结构，厚度约有2至4毫米。
在它的表面，有些区域向内凹陷，形成了“脑沟”，有些区域向外隆起，形成了“脑回”。
大脑纵裂将其分成左、右两个半球，这两半球经胼胝体连接，而在每个半球的背外侧面，主要脑沟将其分成了四个叶，分别为顶叶、枕叶、额叶和颞叶。
图2-1表示了这四个叶在大脑半球上的具体分布。
图2-1大脑皮层的结构和分区 大脑皮质通过交换的方式来分析、存储和产出样本。
这些样本可以点亮丘脑中的丘觉从而产生意识。
大脑皮质中不同的脑叶都能够独立产出不同功能的样本，当这些功能互相独立的样本进入丘脑后，丘觉就会相应地产生不同而独立的意识，正是这些意识的相互作用，才会形成人类的复杂心理活动。
在多数人中，左脑主要掌管语言功能，而右脑则负责情感和形象思维等功能，因而它们有各自独立的意识思想链和记忆。
其中，额叶主要负责自主运动和高级认知的功能，包括学习、决策、情绪、语言等；顶叶负责信息感知，包括 第3页共40页 基于脑电信号的情绪识别 视觉信息和体感信息等；颞叶负责听觉、嗅觉和记忆等功能；而枕叶则多用于视觉处理。
2.2脑电的产生机制 直至目前，有关脑电产生的研究还有很多不明确的地方，因此，脑电的产生机制一说也并没有定论。
伍国锋等在《脑电波产生的神经生理机制》[4]一文中，介绍了多种关于脑电产生机制的说法，并认为目前较成熟且依据充分的说法是突触后电位学说。
突触后电位学说认为脑电波来源于皮层内神经细胞群同步活动时的突触后电位。
突触后电位是突触后神经元在突触传递兴奋或抑郁信息时产生的电位变化。
当大脑中众多突触细胞同时进行兴奋或抑制的传输时，这些细胞产生的突触后电位就会叠加导致节律性脑电波的波幅增大，从而能够被脑电仪器检测到。
反之，如果一些突触细胞在传递兴奋，而另一些在传递抑制，那么它们各自产生的突触后电位就会相互抵消，此时节律性脑电波的波幅减小，甚至会接近于消失。
这种说法在一些实验中也获得了事实依据。
2.3脑电的采集 脑电，是指脑细胞群自发性、节律性的电活动，而脑电的采集则是通过置于头皮表面的电极来记录下这种电波信息的过程，这种利用神经电生理方法检测得到的电波图谱，就称作脑电图（EEG）。
脑电图信号比较复杂，又易受其他生物电信号，诸如眼电、肌电、心电等的干扰，因此采集脑电时，必须将数量较多的电极集中放置在大脑表面的一个较小区域内，故而脑电图的导联一般会比较多而复杂。
虽然目前尚且没有一个公认的脑电图导联标准，但是脑电电极的摆放位置一般会按照10-20国际脑电记录系统[5]来设置，10-20系统共由21个电极组成，其中，FP为额极，Z为中线电极，CZ为中央点，PZ为顶点，O为枕点，T为颞点。
笔者在本课题实验中用到的是64导联的电极帽，它的电极摆放位置也是由10-20系统的标准扩展得到的，图2-2为64导电极帽的电极位置示意图。
图2-264导电极10-20系统放置法示意图 第4页共40页 基于脑电信号的情绪识别 2.4脑电的频段特征 脑科学和神经科学的研究表明，脑电的Delta频段、Theta频段、Alpha频段、Beta频段和Gamma频段与人们的各项生理心理活动有着密切的关系。
（1）Delta频段（1—4Hz）：成年人只有在深度无梦睡眠时，脑电波才会保持在Delta频段内，它是人在无意识状态时的脑电频段，此时，人的生理特征有呼吸深入、心跳减慢、血压和体温下降等。
（2）Theta频段（4—8Hz）：与Delta波类似，Theta波通常也在成年人睡眠时出现，但是这种睡眠往往并没有失去全部意识，是在浅眠状态时的脑电频段。
此时，人对外界的感官意识逐渐薄弱，却可以触发到深层的记忆，能够清晰地想起平时清醒状态时所忽略或不记得的事。
因此，如果可以将脑电波保持在Theta频段，那么该期间发生的事将会被清楚而长久地记住。
（3）Alpha频段（8—13Hz）：Alpha波是在脑电波中第一个被发现的，它是最基本的脑电波之
一。
在初醒时或半睡半醒时，人处在一种放松的状态，他的意识清醒，而身体却是放松的，此时，他的脑电就会保持在Alpha频段上。
但如果他此时受到了惊吓，或是他睁开双眼进行了有意识的思维活动，那么alpha波就会随即消失。
（4）Beta频段（13—30Hz）：Beta波反映的是人在日常清醒状态下的脑电情况，在beta频段中，人不仅仅头脑警觉度高、行动有效，而且他的情绪也会波动得比较剧烈，因此，当人出现了烦恼、紧张、兴奋、恐惧、气愤等强烈情绪时，他的脑电往往会在Beta频段中有所变化。
（5）Gamma频段（30—50Hz）：Gamma波是最高频率的脑电波，当神经元的不同群体同时发出相同信号以执行特定的认知或运动时，就形成了Gamma波[6]。
由此可见，当人主观集中精神力注意某项事物，或是受到集中而强烈的感官刺激时，他的脑电信号在Gamma频段就会有明显的波动。
2.5情绪及其产生 2.5.1情绪的定义 情绪，是对一系列主观认知经验的统称，它综合了多种感觉、思想和行为，因而既是主观的心理感受，又是客观的生理反应。
目前的研究中也并没有能够对情绪做出一个完整的定义，孙卉在《对于情绪定义的再探讨》[7]一文中认为，完整的情绪定义至少包括了外界刺激、需求预期、认知评价、感知测量等因素，正是这些因素在短时间内协调、同步地活动，人类才会拥有情绪这种反应机制。
2.5.2情绪的产生 正如情绪定义所包含的内容，情绪可以是由生理反应引起的，也可以是由认知评价引起的。
著名“詹姆士-兰格理论”[8]认为，情绪体验主要是由生理变化引起的，也就是说，外界的刺激会引发自主神经系统的活动，从而产生生理状态的改变，这种改变导致了情绪的产生。
现今神经科学的研究表明，人的情绪可以在没有自主意识的情况下产生，同时，情绪也可以反过来导致生理变化，这些成果均为该理论提供了事实佐证。
然而，一些情绪诸如骄傲、失望等与其说是生理反应，不如说是一种行为认知的结果。
这些情绪往往与面部表情和自主神经系统没有关系，而是运用人类自身的认知和文化等进行判断、评价、思考后产生的反应，因此，这些情绪是属于有自主意识的反应。
2.6情绪分类及情绪模型 2.6.1情绪的分类 第5页共40页 基于脑电信号的情绪识别 情绪的分类有两大观点，第一种观点认为，情绪可以被明确地分为几种不同的类别；第二种观点则认为，不同情绪只是程度上的不同，本质上是相同的。
情绪可明确划分学说认为，人类出于本能，与生俱来就有十几种“基本情绪”，然后在不同的文化和不同的社会条件下，这些“基本情绪”会演化出其他的“复杂情绪”[9]。
常见的基本情绪有：悲伤、喜悦、恐惧、愤怒等，通常这些情绪能够通过自主神经系统的活动而引起。
常见的复杂情绪有：爱、骄傲、内疚、失望等，通常这些情绪需要经由人类自主意识的评价和判断才能引起。
情绪依据程度不同而分类的学说认为，情绪之间不可明确地割裂开，只是在几条不同的轴上递增递减或两极化，那些基本情绪就是这些轴的两极，比如快乐与悲伤、信任与不信任等，而复杂情绪则是位于这些轴上不同位置的基本情感的综合，比如快乐和信任混合会形成爱等[10]。
2.6.2情绪模型 对于离散的情绪，普拉切克（Plutchik）[10]提出了基本情绪集，即悲痛、恐惧、憎恨、警惕、狂怒、惊奇、接受、狂喜。
将其简化之后，一般认为基本情绪集为快乐、愤怒、恐惧和悲伤。
对于连续的情绪，目前常用的情绪模型是兰格（Lange）的二维情绪分类模型[11]，该模型将喜悦和悲伤这两种基本情绪作为纵轴的两极，而横轴则表示兴奋度，值越大就越兴奋，具体见图2-3所示。
兰格认为，所有的情绪都可以表示为在不同兴奋度下不同程度的喜悦或悲伤。
比如兴奋度较低时的悲伤情绪就是沮丧，而兴奋度较高的悲伤情绪就是愤怒或憎恨等等。
笔者认为，这里的悲伤和喜欢也可以理解为是负面和正面情绪的一种典型代表。
图2-3兰格二维情绪分类模型[12] 2.7情绪的诱发 情绪的诱发方法主要分为两大类，情绪性材料诱发和情绪性情境诱发[13]。
2.7.1情绪性材料诱发 诱发情绪的材料主要有视觉材料、听觉材料、嗅觉材料和这些材料的不同组合。
视觉、听觉和嗅觉几乎囊括了人类接受外界信息的渠道，但是，究竟采用哪种或是哪几种刺激材料来诱发情绪，不仅仅取决于情绪分类的要求，也有被试者本身因素的影响。
不同被试者对视觉、听觉和嗅觉刺激的敏感程度大不相同，这也会导致情绪诱发的效果不同。
2.7.2情绪性情境诱发 第6页共40页 基于脑电信号的情绪识别 情绪性情境诱发主要有两种方式，一种是通过让被试摆出与情绪相应的表情或姿势来诱发出该情感，比如通过让被试者摆出笑脸来诱发出他快乐的情绪等。
在詹姆士-兰格的理论基础上，这种做法是有一定依据的。
而另一种方式则是通过被试者自行回忆或想象情境来诱发出特定的情感，当被试者回想起自己类似情感的经历时，他极有可能会再次感觉到当时的情绪，通过这种方法，他的情绪就会被成功地诱发出来。
2.7.3本课题中使用的情绪诱发方式 笔者认为，由于每个被试者对于感官的敏感程度不尽相同，因此比起采用单一感官的刺激材料，视频片段作为集合视觉与听觉为一体的材料更能够诱发出被试者的情绪。
然而，如果被试者自己处于比较消极的状态，那么他对刺激材料的反应就不会很明显，因此，笔者将2.7.1与2.7.2中的方法结合，即在实验过程中，要求被试者在观看刺激材料的同时通过自己的回忆或想象尽可能激发出类似的情绪，从而使得被诱发出的情感能够更加强烈明显。
2.8情绪的识别方法 情绪的识别方法主要包括基于非生理信号的识别和基于生理信号的识别，非生理信号有面部表情、语音语调等，生理信号则有脑电、眼电、心电、皮肤阻抗等。
在日常生活中，面部表情和语音语调是我们表达情绪和感受他人情绪的最直观方式，比如人在高兴时会两颊上移、唇角上翘，同时语气显得轻快高亢；而愤怒时则会皱紧眉头、瞪大双眼，语调显得低沉凌厉等。
同时，采集非生理信号的仪器也相对简单，通过摄像头和录音设备就可以采集到面部表情和语音信号。
但是，非生理信号可以通过意识控制，因此，它也就可以被伪装，这种非本能的表现，自然会使得情绪识别非常困难。
相较于非生理信号，基于生理信号的情绪识别显得更为可靠。
研究表明，随着情绪状态的改变，人的脑电、眼电、心电、呼吸频率、皮肤阻抗等都会有较为明显的变化，而绝大多数人无法用自己的意识来控制生理信号，这就增加了它的真实性。
笔者在本课题中使用的脑电信号也是生理信号的一种。
不过，生理信号通常不太直观，也往往需要较为复杂的仪器来采集它的信号。
然而，无论是基于非生理信号的还是基于生理信号的情绪识别，它们之间的不同点主要是采集数据的方式和数据类型的不同。
对于后期这些数据的处理算法，目前大多是将反应情绪变化的特征提取出来后，通过机器学习构建情绪模型来实现情绪的识别和分类。
本课题也使用了这种思路，具体的算法见第四章的内容。
2.9本章小结 在本章中，主要介绍了大脑和情绪的理论知识，描述了大脑及大脑皮质的组成和结构、脑电的产生机制和采集方法、脑电的频段分类和特性，以及情绪的定义和产生原理、情绪的分类和情绪模型、情绪的诱发方式和情绪的识别方法等，完整详尽地阐述了基于脑电的情绪识别的生理基础。
第7页共40页 第三章实验 基于脑电信号的情绪识别 3.1实验目的 通过此实验，尽可能地激发被试者愉悦快乐和悲伤沉痛的情绪，从而采集获得被试者在这两种情绪状态下的脑电信号，作为此后研究基于脑电信号的情绪识别算法的素材和依据，为基于脑电信号的情绪识别的可行性做出事实佐证。
3.2刺激材料 通过查阅资料和对之前实验室成果的总结，笔者发现，情绪是一种比较模糊的概念，甚至连被试者自己也不能够很好地界定清楚自己的情绪状态，像诸如快乐与兴奋、悲伤与痛苦等较为近似的情绪，由于被试者不能给出明确的反馈，因此要通过脑电信号来识别相近的情绪是非常困难的，不仅结果不会理想而且在应用上也没有很高的价值。
在实际应用的层面，往往我们需要通过脑电信号来识别的情绪大多是鲜明而较大的分类，比如情绪的正面和负面、喜欢和厌恶、愉悦和悲伤、平静和兴奋等。
所以，笔者在本实验设计中，考虑将愉悦快乐和悲伤沉痛作为两大情绪分类来制作刺激材料，进行脑电信号的采集和识别。
根据资料查阅的结果和笔者自身的经验，笔者认为，在视频、音频、图片这三种刺激材料类别里，由于视频同时兼顾了音频和图片信息，甚至还包含有丰富的情节信息，因此最容易引起观看者在情感上的共鸣，使被试者产生身临其境的代入感，从而激发出被试者强烈的情绪。
所以，笔者在此实验中使用了12段视频片段作为刺激材料，其中，6段反映愉悦快乐、6段反映悲伤沉痛，互相间隔着播放，段与段之间有30秒左右的时间让被试者休息和调整情绪。
笔者在截取视频片段作为刺激材料的过程中，考虑到刺激材料应尽量快地激发被试的情绪，并使之保持这种情绪到视频结束，因此选择了电影的高潮片段，每段视频大约在4分钟左右。
又因为被试对该视频前后情节的了解对于情绪的刺激也有着一定的影响，所以选择使用非常经典的、耳熟能详的电影来制作刺激材料，比如《泰坦尼克号》、《辛德勒的名单》、《音乐之声》等。
同时，由于笔者并不会在实验过程中接受被试者的情感状态反馈，因此这些视频片段所反映的情绪必须没有歧义，为此，笔者事先对这四位被试进行了调查，确保这些电影片段能诱发出预期的情绪状态。
刺激材料毕竟只是起到情绪诱发的辅助作用，为了保证被试者的情绪被尽可能大地诱发，笔者会在一段视频材料播放之前告知被试者该视频所表现的情绪状态，并要求被试者通过刺激材料联想到自身关于愉悦或悲伤的经历来增强情感。
笔者认为，被试者自主调动出的情绪比被动地由刺激材料诱发出的情绪要来得更强烈更有效。
3.3被试情况 笔者一共选择了四名被试者，两男两女，年龄在22至24岁之间，被试者均为右手利者，健康状况良好，实验前睡眠状况良好，大脑和精神方面没有任何疾病和遗传病史。
被试者在实验过程中听力正常，视力正常，精神状况良好。
四名被试者均接受了两次实验，间隔为一周以上。
在实验之前，被试者均被告知了实验流程和相关的注意事项，并了解了该实验对人体无害。
第8页共40页 基于脑电信号的情绪识别 3.4实验环境 本次实验在实验室真车环境内进行，被试者戴着电极帽坐在真车驾驶座上，观看由车前大屏幕播放的视频，音频则由放在车后座的音响播放。
经笔者自己的体验和实验后被试者的反馈表示，真车环境内温度适中、光线适宜，大屏幕上播放的视频清晰度、车内音响的音量和音效都能够达到较好的标准。
同时，在半封闭的环境里做实验，不易受到周围不相关者的影响，被试者更容易集中精神诱发出情感。
实验环境如图3-1所示。
视频刺激材料 被试 电极帽 NeuroScan采集设备 图3-1情绪实验环境 本次实验的硬件平台如图3-2所示，主要由ESINeuroScan系统和两台计算机组成。
其中，NeuroScan系统主要由电极帽、EEG信号采集放大器以及在一台计算机上运行的Scan4.3软件组成，被试者的脑电信号由电极帽实时采集到后，经过放大器放大，最终通过Scan4.3软件在该计算机上显示和存储下来。
而另外一台计算机则连接着车前大屏幕及车内音响设备，仅仅用于播放刺激材料和相关的注意事项提示画面。
第9页共40页 基于脑电信号的情绪识别 图3-2情绪实验硬件平台 3.5实验过程
（1）要求被试者首先填写基本信息表，内容包括姓名年龄以及健康状况和睡眠状况等基本情况等，同时要求被试者关闭手机等通信设备以免干扰脑电信号的采集。
然后，由笔者告知被试者实验内容、实验流程及实验注意事项；
（2）启动ESINeuroScan系统的电源和放大器，同时运行Scan4.3软件。
设置Scan4.3中脑电信号采集的参数，一共采集包括眼电信号在内的64导信号，采样频率为1000Hz。
（3）给被试者戴上脑电帽并注射脑电膏，先注射接地电极和参考电极来决定参考电位，再一一注射其他电极，包括四个外接的眼电电极，但不包括M1和M2电极，一边观察Scan4.3中各个电极的阻抗情况，通过注射使62个脑电电极（除M1和M2外），以及4个眼电电极均达到要求值。
图3-3和图3-4为Scan4.3中各个电极在注射脑电膏前后的阻抗值示意图。
（4）启动播放刺激材料的计算机、车前大屏幕和音响设备。
让被试坐到车内，播放测试视频，根据被试感受调整音量和画面效果。
（5）尝试采集被试者的脑电信号，并观察该信号是否存在异常，是否有导联之间的短路或是坏导之类的问题存在，针对问题进行设备的调整，并记录下这些信息，用于之后数据处理时的参考。
（6）再次提醒被试者要尽量释放自己的情绪并保持肩以上的静止不动。
然后开始刺激材料的播放，同时正式采集脑电信号。
在实验过程中观察采集到的信号以及被试状况，记录电极的状态和可能引起干扰的原因。
图3-5为刺激材料播放的流程。
（7）刺激材料播放完后，停止脑电信号的采集并保存好该段数据，然后依次关闭实验设备。
（8）完成实验后，替被试者拿下脑电帽，并帮其清洗残留的脑电膏，及时清洗脑电帽、针管和眼电电极，将其晾干放置妥当。
（9）在实验中，不可避免地会出现由设备、被试者、主试者、无关人员等引起的偶然误差，为了减少误差，增加训练和测试样本，提高情绪识别效果，体现实验数据和算法结论的普遍性，每个被试者都进行了两组实验，这两组实验在不同的时间段进行，间隔了一周以上。
第10页共40页 基于脑电信号的情绪识别 图3-3注射脑电膏前的阻抗值示意图 图3-4注射脑电膏后的阻抗值示意图 图3-5刺激材料播放流程图 3.6注意事项 由于笔者在此实验中使用电影片段作为刺激材料，因此通过事前的调查，更倾向于邀请热爱观看电影，对电影片段能够产生强烈情绪的被试者来参与实验，同时，这四位被试 第11页共40页 基于脑电信号的情绪识别 者性格都较为开朗、情绪丰富、思维活跃。
为了使实验结果具有普遍性，不受性别因素的影响，故而采用了1:1的男女比例进行被试者的挑选。
笔者认为，被试者实验当天应睡眠充足，同时在当天起床后到实验开始这段时间不能进行高强度的体力或脑力活动，否则会造成身体或大脑疲劳，影响情绪的诱发。
在对被试者调查之后，笔者发现，在早晨进行实验为最佳，因为被试者早晨的情绪一般较为轻松，容易集中精神，心无旁骛。
而晚上则不宜进行实验，因为经历了一天的学习工作，被试者即使不疲劳，也一般会有比较烦躁的心情，此时做实验容易走神，效果不佳。
3.7实验评价 笔者在每次实验之后都与被试者进行了交流，听取被试者对于刺激材料和实验情况的反馈。
所有被试者均表示，实验过程中能够集中精神，并无受到明显的干扰，同时可以通过每段刺激材料诱发出主试者要求的相应情绪，并不存在歧义。
但其中两名被试（一男一女）均表示，诱发出悲伤沉痛的情绪比诱发出愉悦快乐的情绪要容易些，且悲伤的情绪比愉悦的情绪更为鲜明强烈。
不过，总体而言，被试者的情绪能够按照笔者的预期被成功诱发，脑电信号的采集也并没有发生明显的问题和干扰，因此笔者认为，本次实验设计较为正确，实施的8次实验过程也没有明显的失误，所以这8组实验数据均有效，可以用于之后的分析处理和分类评测。
3.8本章小结 本章介绍了基于脑电信号的情绪识别的数据采集过程，即实验流程。
阐述了包括被试的选择、刺激材料的选取、实验环境、实验的硬件平台、实验的具体操作步骤、实验的注意事项等所有有关实验设计的内容。
同时结合被试和主试的感受，对实验做出了评价。
第12页共40页 第四章算法 基于脑电信号的情绪识别 4.1脑电信号的预处理 4.1.1去伪迹 脑电信号非常微弱，通常在几十微幅左右，一般用放大器采集到的脑电信号会包含着各种各样的其他信号，比如眼电、心电、肌电等，这些都属于伪迹信号，为了得到相对纯净的脑电信号，去伪迹是脑电预处理中最为重要的一步。
在本文2.4节中列举了与心理生理活动密切相关的脑电频段，可以看到，本课题中用到的脑电有效频率为1Hz至50Hz，而一般脑电的频率被认为在0.5Hz到100Hz左右，相较而言，肌电伪迹的频率要高得多，眼电伪迹的频率则较低，有1Hz以下的，但也会与脑电信号的频段有所重叠。
图4-1表示了纯净的脑电信号和几种典型的伪迹信号的对比。
图4-1纯净的脑电信号和其他伪迹信号的对比 除了在做实验采集信号时让被试者尽量减少肢体动作等来使得脑电信号更为纯净之外，目前较常用的去伪迹方法有以下几种：
（1）选择有效片段：根据伪迹不同的时频特征，将伪迹信号明显的片段截取，留下较为纯净的脑电信号片段。
然而，为了避免把较为重要的脑电信号剔除的情况，这种方法仅仅能去除一些非常明显的伪迹。
（2）滤波：由于脑电信号为低频信号，而肌电伪迹为高频信号，因此低通滤波可以在很大程度上将肌电伪迹去除。
也可以使用带通滤波，同时将肌电伪迹和部分眼电伪迹一起滤去。
通常会将0.5Hz到100Hz之内的信号留下作为脑电信号，也会根据实际情况中脑电的有效频段进行调整。
（3）小波变换[14]：小波变换可以将时域特征映射到频域中去，而且它的低频分辨率比傅里叶变换要高。
即使伪迹信号与脑电信号有频段重叠的现象，但是只要伪迹信号在频域上的变化趋势不同于脑电信号，那么就可以在小波变换后通过伪迹的频域特征找到它并将其去除。
第13页共40页 基于脑电信号的情绪识别 4.2特征提取 脑电信号的特征主要有时域特征、频域特征和时频特征三类。
（1）时域特征主要是研究随着时间的变化，脑电信号的电位变化情况，比如通过计算电位值的均值、方差、峰值、斜率等来获取特征。
目前将时域特征运用于脑电信号分析的经典方法是事件相关电位分析法[15]，该方法着重研究不同事件发生时脑电电位值的不同变化趋势。
（2）频域特征主要是研究信号在不同频段上的特征变化。
将脑电信号从时域映射到频域上后，根据现今脑科学已有的研究成果，取出Delta频段（1—4Hz）、Theta频段（4—8Hz）、Alpha频段（8—13Hz）、Beta频段（13—30Hz）和Gamma频段（30—50Hz）这五个和生理心理活动密切相关的频段，分别提取出诸如功率谱密度、微分熵等各频段的频域特征值。
（3）时频特征，是时域特征与频域特征的结合，将信号采集到的整个时段分割成一个个大小相同的时间窗，然后在这些时间窗内一一将时域特征映射到各个频段上去，这样一个时间窗就可以得到一组基于各个频段的频域特征值，而整个时间段上就会得到与窗口数相同的多组频域特征值，这些频域特征值随着时间变化、窗口滑动而变化，因此可以同时得到信号的频域信息和时域信息。
在本课题中，笔者为了获取频域特征随着时间的变化趋势，故而提取了脑电信号的时频特征用于之后的学习和分类。
4.2.1离散傅里叶变换和短时傅里叶变换 在本课题中，笔者运用了短时傅里叶变换以及汉宁窗函数来提取脑电信号的时频特征。
短时傅里叶变换可以看作是对一个特定大小的时间窗内的时域信号做类傅里叶变换，从而获得该时间窗对应的频域特征，由于脑电信号是采样获得的离散数据，因此这种类傅里叶变换是离散傅里叶变换和窗函数的结合。
离散傅里叶变换的定义如下： （4-1） 其中，xn是第n个离散点经过傅里叶变换后的值，Xk是第k个离散点的傅里叶振幅。
离散的短时傅里叶变换定义如下： （4-2） 其中，x[n]是输入的离散信号，w(t)是窗函数，在本课题中为汉宁窗（也可以选择高斯函数等作为窗函数），X(m,w)是x[n]w(t-τ)的傅里叶变换结果。
汉宁窗的定义如下：（4-3） 汉宁窗又称作升余弦窗，它通过移动谱窗，可以抵消高频信号的干扰，因此适用于处理非周期性的低频信号。
将（4-2）和（4-3）合并，即可得到窗函数为汉宁窗的离散短时傅里叶变换公式： （4-4） 第14页共40页 基于脑电信号的情绪识别 4.2.2功率谱密度和微分熵 功率谱密度定义了信号的功率随频率分布的规律，在物理学中，通常将波在特定频率的瞬时功率谱密度定义为其频率密度乘以相应系数的结果，实际上，功率谱密度更常用的是它的抽象定义，即该频率处信号数值的平方，它的量纲仍为每赫兹的功率大小。
由于采集到的原信号多为时域信号，如果要获得每频率对应的信号数值就必须先将时域信号映射到频域中去，然后才能计算功率谱密度。
因此，通常使用傅里叶变化的方法来计算功率谱密度。
在本课题中，笔者考虑提取的特征是基于Delta频段（1—4Hz）、Theta频段（4—8Hz）、Alpha频段（8—13Hz）、Beta频段（13—30Hz）和Gamma频段（30—50Hz）这五个频段而言的，因此要考虑的是离散点的平均功率谱密度，用如下公式计算： （4-5） 其中，FFTDATAi是指频域信号上第i个点对应的信号数值，由于该频域信号是由时域信号的傅里叶变换得到的，因而FFTDATAi是一个复数，此处通过求其模的平方来获得该频率的功率谱密度，又有EndNum是一个频段的结束点位置，StartNum是该频段开始点位置，将该频段所有点的功率谱密度求平均后，即得到了该频段的平均功率谱密度。
笔者在本课题中选取的基本特征就是每一导信号的微分熵(DifferentialEntropy)，简称为DE，它的计算公式如下： （4-6） 4.3特征平滑 4.3.1滑动平均 滑动平均是一种简单有效的平滑算法，对于在一定区间内连续而变化平缓的信号使用滑动平均算法，可以去除大量毛刺噪声，获得清楚直观的信号变化趋势。
滑动平均的基本原理如下所示。
假设一段信号共有n个采样点，记作{x1,x2,x3,……,xn}，以m为窗口大小做不加权的滑动平均（m虽然滑动平均算法很简单，但是它在除噪、去冗余、节省存储空间等方面都有较好的效果，因此被普遍使用于信号处理过程中。
4.3.2线性动力系统 线性动力系统是一个用于数据除噪和平滑的模型[16]。
如果我们测量获得的信号数据因为各种原因而含有很明显的噪声，即信号中含有一个噪声变量
Z，假设我们运用了一系列方法来估计Z的值，且最终得到Z的估计值为
X，那么我们认为如果Z在信号测量过程中不变的话，Z=X是一个较好的估计。
然而，如果噪声变量Z在每个测量点都在进行带有随机因素的变化，那么对于每个数据点中的Z1，Z2，……Zn，我们就可以通过一系列方法得到估计的X值，即X1，X2，……，Xn，但是如果认为此处Zn的估计就是Xn的话，则会因为随机噪声而很不准确。
因此可以考虑使用加权平均的方法来计算，如果Z的值变化缓慢，而随机噪声又比较大，那么Zn的值就必须依靠较多X值的平均来获得；若Z的变化很迅速而随机噪声比较少，那么就可以用较少的X来估计Zn的值。
然而，每一项
X 第15页共40页 基于脑电信号的情绪识别 的权重不能靠人工决定，所以就必须定义一个概率模型，运用学习和训练的方法来获得噪声随时间和测量过程变化的规律，线性动力系统就是这样一个模型。
线性动力系统是一个线性的高斯模型，它所有的变量，包括它的所有边缘条件和联合分布都符合高斯分布。
因此，它的过渡分布和发射分布有如下的一般表达： （4-8） （4-9） 线性动力系统最初的隐含变量也符合高斯分布，可以写作： （4-10） 以上模型的表述属于高斯分布的简化形式。
传统上，我们会把它们写成等效的噪声线性
方程组： （4-11） 其中，噪声项符合分布 （4-12） 线性动力系统模型的参数，记作θ={
A,Γ,
C,Σ,μ
0,V0}，我们能够通过期望最大化(Expectation-maximization)算法，使用最大似然确定这些参数的值[17]，也就是说，在使用线性动力系统前，必须先将一部分数据作为训练数据，进行模型学习，从而确定θ参数集的取值，然后将这些参数代入线性动力系统模型，对所有数据进行平滑和除噪。
4.4情绪模式的学习和分类 4.4.1支持向量机 4.4.1.1概述机器学习分为无监督学习和监督学习两类。
其中，无监督学习设计的分类器是用于处理未被分类标记的样本集的，我们并不告诉计算机这些样本的分类情况，而是让它自己去处理分类。
监督学习则是利用一组已知类别的样本集调整分类器的参数，使其达到所要求性能的过程。
监督学习在给予计算机学习样本的同时，还告诉计算机各个样本所属的类别，计算机通过对模型参数的调整，获得分类的规律。
支持向量机（SVM）以及其相关的学习算法和识别模式作为常用的监督学习模型被广泛应用于分类和回归任务中。
最基本的支持向量机是一个非概率的二进制线性分类器，在SVM训练时，必须输入一系列训练样本和它们各自的类别标注（仅两类），这样可以获得一个SVM的模型，在SVM预测时，将待分类数据输入该模型，则会输出相应的分类标注。
因此，SVM模型其实是各个样本映射到空间中所在位置的一种表示形式，它构建了由一个超平面或一系列超平面组合而成的空间。
在该空间内，有一条明确的线或一个明确的超平面，代表样本的点分别分布在这条线或平面的两侧，一侧即为一个类别，当有新的预测样本输入时，它们也会随之映射到这个样本空间内，然后通过这些点所在的区域就可以获得它们的分类情况了。
然而，在一些应用中，那些样本可能被映射到了一个有限维的空间中去，而这个空间往往是线性不可分的， 第16页共40页 基于脑电信号的情绪识别 此时，SVM通过使用了非线性的内核函数，使得它能够构建线性不可分情况下的相应模型。
4.4.1.2线性可分的支持向量机对于给定的含有n个数据点的训练数据集
D，有如下形式：（4-13） 其中，xi为p维训练数据点，yi为该训练数据点所属的类别标识，非-1即
1。
我们希望获得一个超平面来分隔yi=-1和yi=1的点，并且与这两个点集边缘的距离和最大，这些边缘上的点，就是支持向量。
任何一个符合上述条件的超平面都可以写成一系列点x的集合，且x符合： （4-14） 此处的点表示点乘，w是该超平面的法向量，表示从原点沿着法向量到达超平面的 距离。
（4-15） 通过几何理论，我们可以发现上述两个超平面之间的距离是，所以要最大化这两个 超平面之间的距离，就是要最小化的值。
又因为这两个超平面之间不允许有点落进去，所以我们可以对任意训练数据点xi做出以下约束： （4-16） 综上所述，最终SVM分类器在训练时要做的是找到使所有xi符合上式图4-2是SVM分类器线性可分情况下的示意图。
的最小值。
图4-2SVM线性可分模型 4.4.2K最近邻 在模式识别中，K最近邻算法（KNN）是一个不依赖参数的方法，它在样本分类时是基于特征空间内最近的训练样本来进行的。
KNN是基于实例学习的算法，可以说是所有机器学习中最简单的算法之
一。
在KNN中，一个样本的分类是通过它各个临近点的投票来决定的，这个样本最终会被分给它的K个最近点中占据较大比例的那一类（K是一个正整数，一般较小）。
如果K=
1，则这个样本就会被直接分到它最近那个点所属的类中。
第17页共40页 基于脑电信号的情绪识别 相同的方法也可以用于回归中，一个样本点的属性值就是它K个最近点的属性值的平均。
如果给它的邻近点加上权重则会更有效，一般认为，越是邻近的点对该样本的影响就越大，因此权值也越大，通常的，若该样本点与某点的距离为
S，则该邻近点的权值即为1/S。
KNN算法的训练样本是一个含有多维特征空间的向量，每个训练样本都有一个类别标识。
所谓的训练过程其实仅仅是把这些含有特征信息的训练样本向量和他们的类别标识保存好而已。
在分类阶段，K是一个用户指定的常量，一系列含有特征信息的测试样本向量输入后，KNN算法则通过投票的原则进行分类。
同时，在KNN分类前，除了K值需要指定外，还有距离和投票方式两个参数需要指定。
其中，对于连续的特征变量，则多用欧几里得距离，若是离散的变量，那么海明距离也可以使用。
另一方面，完全基于“多数表决”的分类会使分类结果偏向于出现频率高的类，因此，在分类时也可以运用加权后的“投票”方式，这一点与回归时使用的加权方法类似。
图4-3是KNN算法的示例，在不加权投票的情况下，如果K=
3，则绿色的点会被判断为红色三角类，若K=
5，则会判断为蓝色方形。
图4-3KNN分类算法示意图 4.5特征降维 4.5.1主成分分析 在机器学习时，输入的一组特征值中一定会有一部分表示了相同的信息，这就是特征冗余，主成分分析（PCA）基于原特征组建立一组新的特征向量，这些特征之间互不相关，即把冗余度降到了最小，同时，排序越靠前的新特征被认为是含有原始信息量越多的特征，也称作主成分。
主成分分析是一种数学方法，它通过正交线性变换将一组可能相关的变量转变成另一组线性无关的变量，这些线性无关的变量就是原变量组的主成分。
这种变化有以下性质：主成分含有的变量数小于或等于原变量数；最大方差的数据的会被投影到第一个坐标上，称作第一主成分，而且第二主成分与第一主成分的协方差值为
0，以此类推，获得特征组在新空间中的坐标值。
假设输入分类器的样本有n个，且每个样本的特征数是p维，则输入分类器训练的是n*p维矩阵，其中，每行是一个样本，每列是一维特征，且样本数不能少于特征数，即n>p。
由于每维特征的量纲单位可能不同，因此直接互相比较它们的方差是没有意义的，必须先对各特征值进行标准化计算。
此处，假设X=(X1,X2,…,Xp)，X1=(x1,x2,…,xn)
T，且n*p维矩阵X是原特征矩阵标准化后的结果。
主成分分析法然后对标准化特征矩阵X做如下线性变换： 第18页共40页 基于脑电信号的情绪识别 （4-17） 其中，p*p维的μ矩阵称作相关系数矩阵，矩阵Z是特征矩阵X经过主成分分析后变换得到的新矩阵，Z1即称作第一主成分，Z2称作第二主成分，……，Zp称作第p主成分。
由上述主成分分析法的原理可得，Z1的方差是最大的，Z2其次，Zp最小，而且，Z2和Z1线性无关，即cov(Z1,Z2)=
0，Zp则与它之前p-1个向量均线性无关。
4.5.2最小冗余最大相关 MRMR算法尝试在一个特征集中选出一组最小冗余最大相关的特征。
在机器学习时，输入的一系列特征中彼此之间一定存在着相关和冗余，MRMR算法可以给这些特征排序，将最小冗余最大相关的特征排在第一位，以此类推。
所以，MRMR算法通常被应用于机器学习的特征选择、特征降维和特征除噪中。
过去在特征选择时往往只考虑选出相关度最高的一组特征，而MRMR算法则在这些特征彼此远离的前提下考虑它们之间的相关性，也就是说，这一组特征必须兼顾冗余度小和相关性高的条件[18]。
首先通过相关性度量获得相关性最高的特征作为第一选择特征，然后再进行冗余性度量，找到与第一相关特征冗余性较小，而相关性度量又较大的特征作为第二选择特征，以此类推，对特征进行排序。
选择一个有效合适的相关性度量和冗余性度量方法也是提高MRMR算法效果的关键。
4.6本章小结 脑电信号的处理步骤分为了预处理、特征提取、特征平滑、特征降维和学习分类这几个步骤，本章主要介绍了以上步骤对应的各种算法的原理，包括预处理采用的滤波方法、特征提取时采用的短时傅里叶变换和微分熵、特征平滑时采用的滑动平均和线性动力系统、特征降维时用到的主成分分析和最小冗余最大相关算法、学习分类时用到的支持向量机和K最近邻算法。
第19页共40页 基于脑电信号的情绪识别 第五章实验结果 通过在第三章中介绍的实验方法和步骤，笔者分别对四名被试，两名男性两名女性，各采集了两组数据，且这两次实验采集时间间隔一周以上，最终获得8组数据。
而后，笔者运用在第四章中介绍的算法对这些数据进行处理，具体步骤如下。
5.1数据预处理
（1）降采样处理：由于Scan软件采集的脑电数据是1000Hz的，数据量过于庞大会占用过多的存储空间和处理时间，这并没有必要，因此在原数据中每隔5个点再采样一次，即把1000Hz的脑电信号降为200Hz的脑电信号，用于之后的数据处理。
（2）坏导的处理：由于本次实验使用了64导脑电帽进行数据采集，而如此多的导联中偶尔会有1至2导出现问题，包括阻抗不能够达到采集的要求，或是采集过程中噪声非常大等，这样的导联就被认为是坏导。
然而，因为导联数直接决定了特征数，简单地去掉坏导的数据会导致特征数的不统
一，这对之后输入分类器带来了相当的不便，所以在本课题中，笔者采用了取坏导邻近的导联数据求平均的方法来估算出坏导的值。
由于脑电在邻近区域的数据变化并不大，而且62导的数据中本来就有很多信息的重叠和冗余，所以笔者认为这样处理坏导对最终的预测结果并不会有很大的影响。
（3）数据分割：在第三章中介绍过，每段刺激材料中间是有休息时间的，因此必须根据刺激材料的长短情况，分割脑电数据，将多余的部分去除。
（4）去伪迹：在第四章中笔者已经介绍过去伪迹的目的和一些去伪迹的方法。
在本课题中，笔者选择了滤波的方法来实现脑电预处理中的去伪迹，由于我们用到的有效频段是1Hz到50Hz左右，因此笔者采用了低通滤波，滤去了75Hz以上的数据（主要是肌电的干扰）。
此处采用的滤波仅仅是在预处理阶段的去伪迹，在之后的处理中仍会用到其他的去伪迹算法。
5.2特征提取 笔者主要提取了功率谱密度（PSD）以及它的对数微分熵（DE）随时间变化的规律作为脑电信号的特征。
关于PSD和DE的概念已在第五章中介绍过了，在此处将具体介绍特征提取的步骤和相关算法。
（1）短时傅里叶变换：由于采集到的脑电信号是时域上的信息，要得到功率谱密度就必须先获得脑电在频域上的信号，离散的傅里叶变换可以做到这一点。
然而，如果对一组数据在整个时域上的信号做傅里叶变换，那么仅能得到整段时间对应的一个频谱，这显然丢失了大量的信息，因为功率谱密度也会随着时间的变化而改变。
因此考虑将时域信息转换为时频信息，对每一组每一导信号做短时傅里叶变换，采用汉宁窗作为窗函数，并将窗口大小设为1秒，时域采样频率为200Hz，频域采样频率为512Hz。
如此一来，每1秒内的时域信息会做一个傅里叶变换转换到频域上去，又因为Delta频段（1—4Hz）、Theta频段（4—8Hz）、Alpha频段（8—13Hz）、Beta频段（13—30Hz）和Gamma频段（30—50Hz）这五个频段与生理心理活动关系密切，因此针对这些频段分别提取特征。
有如下公式： （5-1） 第20页共40页 基于脑电信号的情绪识别 （5-2） 其中 StartNum=频段起始频率/时域采样频率*频域采样频率； （5-3） EndNum=频段结束频率/时域采样频率*频域采样频率； （5-4） 这样，对于每一组数据，就提取到了62*5=310个PSD特征以及62*5=310个DE特征。
（2）左右脑的不对称性：研究表明，人类的复杂意识是由大脑诸多神经元同一时间产 生的不同突触信号而引起的。
在多数人类中，左脑和右脑掌管的功能不同，它们有各自独立 的意识和思维。
因此，目前有研究认为，人类的情感是由这种左右脑的不对称意识所引起的。
所以考虑提取左右脑不对称特征，即将左脑
27个导联的微分熵特征与右脑对称位置27个导 联的微分熵特征做差和商，最终获得了27*5=135个DASM特征和27*5=135个RASM 特征，其中： DASM=DE左–DE右 （5-5） RASM=DE左/DE右 （5-6） 27对电极位置见图5-1所示，用红点标记的是左边27个导联，用绿点标记的是右边的 27个导联，它们关于中线一一对称。
具体27对电极为Fp1-Fp2，AF3-AF4，F7-F8，F5-F6， F3-F4，F1-F2，FT7-FT8，FC5-FC6，FC3-FC4，FC1-FC2，T7-T8，C5-C6，C3-C4，C1-C2， TP7-TP8，CP5-CP6，CP3-CP4，CP1-CP2，P7-P8，P5-P6，P3-P4，P1-P2，PO7-PO8，PO5-PO6， PO3-PO4，CB1-CB2，O1-O2。
图
5-1左右脑27对对称电极位置图综上所述，最终每1秒的数据能够获得了310个PSD特征，310个DE特征，135个DASM特征，135个RASM特征，270个DASM&RASM。
具体见下表所示： 第21页共40页 特征名PSDDE DASMRASMDASM&RASM Delta6262272754 表5-1情绪特征数 Theta Alpha Beta 62 62 62 62 62 62 27 27 27 27 27 27 54 54 54 基于脑电信号的情绪识别 Gamma
6262272754 Total310310135135270 5.3特征平滑 人类的情感是一种连续而缓慢的变化过程，因此，笔者认为，理想的情绪特征应该是 平滑而变化趋势缓慢的，那些阶跃的变化或是毛刺的出现都是由于噪声引起的，为了去除 特征中的伪迹和与情绪识别无关的信息，提高之后的分类训练速度，笔者考虑对特征进行 平滑。
在本课题中，笔者采用了滑动平均（MA）和线性动力系统（LDS）进行了特征平滑， 这两种算法在第四章中有具体的介绍。
对所有频段的微分熵特征
310个分别进行平滑，并将每1秒的310维特征向量作为
一 个样本，一共输入2000个左右的样本进行线性SVM训练（本课题中笔者采用的SVM分类器均来自于LIBSVM[19]），用500个左右的样本进行测试。
最终得到未经过平滑、使用滑动 平均平滑和使用线性动力系统平滑后的不同结果，如表5-2和图5-2所示（数据量纲为%）： 表5-2每一组数据的特征平滑效果 第1组第2组第3组第4组第5组第6组第7组第8组 未平滑 68.3092.4563.1977.3455.7391.6764.4790.10 滑动平均71.9190.6364.2685.4275.5289.8470.8588.80 线性动力系统77.6688.0265.5377.6077.0890.8978.3094.27 识别准确率（%） 100908070605040302010 0第1组第2组第3组第4组第5组第6组第7组第8组组数 图5-2每一组数据的特征平滑效果 未平滑滑动平均线性动力系统 对比表5-2的三种情况，粗体标出的是该组分类效果最好的情况。
通过图5-2可以更清楚地看到，对于第2组和第6组，未平滑的分类效果比平滑后的要好，而这两组的另一特点就是它们的分类准确率都在90%以上，可以说是极高的。
所以，笔者认为，对于未平滑就分 第22页共40页 基于脑电信号的情绪识别 类准确率很高的数据来说，可能是数据本身的噪声伪迹并没有很大，因此原信号中含有的情绪信息比较纯粹。
然而，由于噪声不明显，所以在特征平滑时，因为去伪迹而提高分类效果的可能就显得微乎其微了，而且，特征平滑算法在求一定窗口内数据的平均或加权平均时，可能会丢失关键特征信息，这可能是平滑后准确率不升反降的原因。
而除去第2组和第6组来看的话，其余的6组数据中，平滑后的结果都会比未平滑的结果要好，特别是第1组、第5组和第7组，经过LDS平滑后会提高10%以上的准确率，这是一个可喜的结果。
一方面告诉我们在整体上，经过平滑的数据会比未经平滑的数据要含有更纯粹的情绪信息；另一方面，这三组数据未平滑时的准确率都低于70%，可以认为其中的伪迹噪声较多，而这些都被平滑处理去掉了，所以笔者得出结论：未平滑时分类效果越差的数据，平滑后能够提高的准确率就越大，反之，未平滑就效果较好的数据，平滑的作用并不大，甚至还可能因为去掉了某些特征信息而使准确率有略微的下降。
在证明了特征平滑是一种可取的办法之后，笔者又对两种特征平滑的方法进行了比较，可以看到，除了第2组和第4组中，滑动平均的效果要更好之外，其余的6组数据，都是线性动力系统的效果要好得多。
这个结论通过第四章中对这两种算法的理论描述也可以推测出来，因为此处的滑动平均就是单纯的取一个时间窗内所有点的平均值，而线性动力系统则是通过训练的方式获得一组噪声加权的参数后进行的加权平均，这显然比滑动平均的方法要更为准确可靠。
然而，线性动力系统的平滑效果也因此对参数的选择比较敏感，笔者在LDS平滑时输入的是固定的脑电信号平滑参数，并没有为每个被试再训练一个参数模型（这样在实际应用中也无法操作），由于每个被试的个性化因素，也可能是导致第2组和第4组数据中线性动力系统不如滑动平均的原因。
笔者更仔细地分析了每一组准确率的提高幅度，不难发现第3组中，虽然平滑后的效果会比未平滑的要好，但是却仅仅提高的2%，由于第三组未平滑时的识别准确率低于70%，属于分类效果较差的数据，这样看来就与之前笔者得出的分类效果和平滑效果之间关系的结论相悖。
但实际上不然，这组数据的结果完全是由SVM分类器的参数原因导致的。
由于笔者对每个被试采集了两组数据，因此，此处的第1组和第5组、第2组和第6组、第3组和第7组、第4组和第8组都是同一个被试的数据，因为同一个人的脑电信号的生理规律大致上是不变的，而且考虑到在现实应用中，每个被试都只能够有一个SVM的训练模型，因此对于以上同属一个被试的数据进行训练时，所用的参数都是一致的（这在之后的数据处理环节中也一样遵循）。
具体地说，是在第5、6、7、8组训练时，采用交叉验证的方法获得最优的参数值，然后在训练第1、2、3、4组时，就采用相应的参数进行分类。
为了尽量去除这些参数的影响，考虑将同一个被试的不同组数据结果进行平均，如表5-3和图5-3所示（量纲均为%）： 表5-3每一名被试的特征平滑效果 未平滑滑动平均线性动力系统 被试162.0273.7277.37 被试292.0690.2489.46 被试363.8367.5671.92 被试483.7287.1185.94 总平均75.4079.6681.17 之前有疑义的第3组是属于被试3的结果，现在再看被试3的平均结果，可以发现平滑后比未平滑时提高了8%的准确率，高于总平均的5.7%，符合之前的结论。
因此笔者认为，消除了一些参数影响后，可以发现所有数据都符合之前分析的结果，并没有异常的情况出现。
而且，因为总平均结果中，线性动力系统有一定的优势，因此之后所有需要平滑的数据，笔者将均采用线性动力系统算法来进行平滑处理。
第23页共40页 识别准确率（%） 基于脑电信号的情绪识别 100908070605040302010 0被试1被试2被试3被试4总平均 被试数 未平滑滑动平均线性动力系统 图5-3每一名被试的特征平滑效果 5.4学习分类 我们为每个样本标注类别，在其诸多特征信息中找到类别划分的规律，然后通过这些规律对未知类别的样本进行分类，这就是机器学习的过程。
5.4.1线性SVM分类 在本课题中，笔者提取了PSD、DE、DASM和RASM四种特征，又因为DASM与RASM的表现形式不同，因此考虑将DASM和RASM共同作为特征的情况，具体特征组见表5-1所示，这些特征之间明显含有很多的冗余信息，因为DASM和RASM是由DE计算而得的，而DE又是PSD的对数，而且每个频段的特征中含有的情绪信息又有所差别，所以考虑采用不同的特征组合来进行学习分类，假设这些特征均为线性可分，对比获得结论。
下表是用不同的特征组合来进行学习分类的结果（量纲为%），其中，每组的训练样本数为2000左右，测试样本数为500左右，采用SVM分类器、线性函数为核函数进行二分类，所有数据均经过LDS特征平滑。
组数1
2 特征名PSDDE DASMRASMDASM&RASM PSDDEDASMRASMDASM&RASM 表5-4不同特征组的线性SVM分类效果 Delta38.9445.3245.1144.2643.40 Theta50.4244.2644.2644.2633.83 Alpha44.2645.7444.2644.2644.26 Beta58.7260.8569.3644.2668.51 55.4754.6961.9758.3361.97 46.6142.4555.7358.3355.73 72.9288.0272.4068.7571.88 96.3596.6196.6196.6195.05 Gamma79.5775.3276.1774.6875.3295.8395.0586.9891.6790.10 Total64.4777.6676.1779.1576.3882.5588.0289.0692.7189.06 第24页共40页 组数345678 平均 特征名 PSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASM Delta53.6253.8361.2854.8966.1755.4741.9350.0055.4755.4754.1747.9258.3360.1559.6467.1754.1760.4261.4660.4247.4547.8747.2344.8952.3466.9363.5445.0555.4755.4754.9051.1653.6754.3756.86 Theta63.8365.9657.0254.9054.0459.1148.4457.5559.3859.9055.4753.3957.8150.2658.0863.8077.3455.4755.2155.4775.7466.1760.0057.8758.5167.1966.9355.7355.7355.4760.2758.1255.4554.4953.88 Alpha56.1760.2147.6647.2347.2364.3248.4445.5745.3153.9156.7755.4754.4355.4755.4794.2791.9385.1677.8685.4261.9154.8955.7455.7455.7457.5560.6877.6067.9781.7763.5263.1760.3557.8261.96 Beta60.6467.8762.9858.9467.2382.0389.8486.1985.9487.5062.7663.0256.5158.8557.0391.4196.6191.6791.6795.3158.3065.1173.2078.9476.1780.9990.8883.8580.2182.5573.9078.8577.5574.4378.67 基于脑电信号的情绪识别 续表5-
4 Gamma42.7647.0249.1548.3050.0059.6495.0591.4088.5491.4081.7784.3878.9186.2092.1991.4191.9397.1492.1893.2366.6075.5355.9655.9656.1774.7491.4194.2794.5394.2774.0481.9678.7579.0180.34 Total54.4765.5367.0262.9866.8175.0077.6068.7567.4567.1964.0677.0873.4474.2273.7087.5090.8991.4196.0991.4176.8178.3078.9472.7778.7281.2594.2777.6090.1078.3973.2681.1777.8079.4377.71 在上表中涉及到的特征组有每个频段的PSD62、DE62、DASM27、RASM27、DASM&RASM54，以及所有频段的PSD310、DE310、DASM135、RASM135和DASM&RASM270。
由于每组有30个分类结果，一共有8组数据，为了更直观地分析结果，将8组数据的平均结果作柱状图，如图5-4所示。
第25页共40页 识别准确率（%） 基于脑电信号的情绪识别 1009080706050403020100DeltaThetaAlphaBetaGammaTotal脑电频段 平均PSD平均DE平均DASM平均RASM平均DASM&RASM 图5-4不同特征组的线性SVM分类效果 采用控制变量的方法，对表5-4和图5-4中的识别效果进行分析，有以下结论：
（1）对于同一组数据PSD和DE的不同分类效果：PSD和DE的区别在于DE是PSD以2为底的对数，PSD的数量级很大，一般在106左右，因此在训练的时候很不易，对此采 用了归一化的方法，公式如下： 归一化值=（数据值-最小值）/（最大值-最小值） （5-7） 归一化后的数据全部在-1到1的范围之间，节省了存储空间和训练时间。
PSD和DE特征组的信息量是一样的，只是DE特征由于涉及到了对数的计算而会使其 拥有了一些与对数函数相似的性质。
分析表5-4中的PSD和DE分类结果，可以看到，除 了DE310的结果始终优于PSD310的结果之外，其它各个频段上DE62的结果和PSD62的 结果互有高低，并没有一个符合所有组数据的解释。
不过，从图5-4中总的平均值可以得到， 在低频的Delta和Theta频段，PSD62的效果要更好，而在高频的Beta和Gamma频段，明 显DE62的效果要更佳，而Alpha频段上，PSD62和DE62的分类效果差不多。
对于这一结 论，第4、5、7、8组数据能够符合，其他4组数据则各有些许的差别。
由于DE310的分类 准确率完全优于PSD310的分类准确率，因此在之后的研究中，均以DE作为脑电信号的特 征代表。
（2）对比不同组数据不同被试之间的分类效果：笔者将每组数据的DE310特征的分类 结果作为该组识别准确率的代表，则有各组对愉悦和悲伤两类情绪的识别率依次为77.66%、 88.02%、65.53%、77.60%、77.08%、90.89%、78.30%、94.27%，可以看到，每一组的识别准 确率有较大的差别，有90%以上的这种识别效果非常好的情况，也有70%左右的识别效果不 甚理想的情况。
由此可见，基于脑电信号的情绪识别，是一种对个性化很敏感的方法，对于 不同的被试，可能是因为被试生理状况的不同，也可能是因为被试对刺激材料感受的不同， 甚至可能因为被试的性格和思维方式的不同，都会是引起这种较大效果差异的原因。
由于存 在诸如第
2组的88.02%、第6组的90.89%和第8组的94.27%，而平均识别准确率为81.17%， 因此笔者认为本次实验采集脑电信号的方法是可行的，之前对数据的处理也是正确有效的。
在现实应用中，由于个性化的原因，我们可以为每个被试都训练一个模型，但也仅止于 此。
该被试的模型会被用来预测他之后再进行脑电采集而获得的所有数据。
在本课题中，由 第
26页共40页 基于脑电信号的情绪识别 于笔者对每个被试进行了两组数据的采集，并且间隔了一周以上，因此考虑将一组数据作为训练数据建立模型，而另一组作为测试数据，来验证这种应用的可行性，由于两次实验的参考电压不同，因此这两组数据必须归一化，归一化公式见（5-7）。
表5-5和图5-5为一组训练一组测试的分类效果（量纲为%），其中，特征组选择DE310，使用LDS平滑，线性SVM训练。
表5-5每名被试一组训练一组测试的分类效果 第一组第二组第一组训练第二组测试第二组训练第一组测试 平均 被试177.6677.0855.06 58.0756.57 被试288.0290.8981.20 78.4779.84 被试365.5378.3069.24 57.4063.32 被试477.6094.2777.97 76.3277.15 平均77.2085.1470.87 67.5769.22 识别准确率（%） 100 90 80 70 60 50 40 30 20 10 0被试1被试2被试3被试
4 平均 被试数 第一组单独训练测试第二组单独训练测试一组训练一组测试平均 图5-5每名被试一组训练一组测试的分类效果 对一组训练，一组测试的结果进行分析，主要看图5-5中的平均结果，可以得到，被试2和被试4的识别准确率在75%以上，笔者认为是比较好的识别效果。
由于每次实验用的电极帽可能不同，电极帽戴的位置也一定会有差别，再加上人本身状态的不同，一组训练一组测试的识别准确率比单独每组的结果有所下降是很正常的，因此认为被试2和被试4在两次实验中均有效地被诱发出情绪、且数据采集过程中受外界环境影响较小。
再看被试3的平均结果，63%的识别率是不太好的，这主要是因为被试3在第一次实验中情感没有被很激烈地诱发出来，从而导致第一组数据和第二组数据在情感的激烈程度上有所差别，被试4其实也存在着相同的问题，可以看到，被试3和被试4第一组实验的准确率远远不如第二组实验， 第27页共40页 基于脑电信号的情绪识别 这也就导致了他们一组训练一组测试的结果比第二组单独地结果要差得多。
然而，被试1的情况又有所不同，他的识别准确率仅在56%左右，而被试1单独两组数 据的识别效果却都有77%，结果如此不理想且与其他被试的规律不符，这主要是因为被试1两次实验观看的刺激材料是不同的。
虽然笔者认为不同的刺激材料对于激发相同的感情是没有障碍的，但是，以负面的感情为例，悲伤、痛苦、沉重、恐惧，都可以算作是一类的情绪，不同的刺激材料可能在这些情绪的精确分类上有所区别。
再者，脑电信号不仅仅受到情绪的影响，还会受到实验外界环境和被试当时的思维、听觉、视觉等的干扰，因此，被试1的结果才会远远低于其他被试。
考虑改进的方法，对于情绪分类较大的情况而言，虽然是做二分类，但是对于每一类中的情绪应该更加细分，从而保证该大类中的样本包含了所有细分后的情绪，同时考虑同一情绪的不同程度，只有尽量收集到该类别所有可能情绪的脑电信号用于训练，才能够避免因为刺激材料不同而诱发出有细微不同情感的问题。
（3）对比同一组数据DE、DASM、RASM的不同分类效果：在章节5.2中提到了人类的情感是左右脑的不对称意识所引起的，因此才选择提取了DASM和RASM作为情绪特征，通过比较DE、DASM、RASM特征组的分类效果，可以验证这一说法。
表5-4中标粗体的数据就是该组该频段的DE、DASM、RASM中最高的分类准确率，先看8组平均下来的结果，虽然绝大多数还是DE的准确率高，但是DE的维数是DASM和RASM维数的2.3倍，因此DE的准确率高是正常的，然而DASM和RASM的准确率并不比DE低了多少，一般在5%左右。
反观每一组的数据，可以发现，每一组中各个频段的结果均是DE、DASM和RASM互有上下，虽然找不到明确的规律，但是这三类特征之间并没有很明显的优劣之分是肯定的。
所以笔者认为，一般来说，DE的分类结果要更稳定一些，从它的平均值普遍更高可以看出，然而，DASM和RASM中包含的情绪信息却也是可靠而足够的，相比之下，DE的稳定仅仅是因为它的维数较大的原因，但是它的冗余度也就会很高，DASM和RASM能够用比DE少得多的维数的同时也包含了其中大部分的信息，可见人类的情感是左右脑的不对称意识所引起的这一说法是有实际依据的。
（4）对比同一组数据DASM、RASM和DASM&RASM的不同分类效果：在
（3）中得到的结论表示DASM和RASM中均包含了足够且有效的情绪信息，而DASM和RASM虽然都是由左右对称电极的DE值计算得到的，但是它们的表现形式不同，因此可能对分类有着不同的影响，考虑将它们合起来作为一组特征，使用DASM&RASM参与训练，则每个频段的特征数为54个，整体有270维特征。
在表5-4中，首先比较同一组数据每个频段的DASM、RASM和DASM&RASM的结果，可以看到，每一组的DASM&RASM54都是介于DASM27和RASM27结果之间，或是高于它们的结果，同时低于它们的结果是很少见的，这一结论通过图5-4中的平均值能够更明显地得到，除了Theta频段，其它四个频段上，DASM&RASM54的结果均会高于DASM27和RASM27中较大的那个值。
笔者由此认为，在每个频段上，仅仅使用DASM27或RASM27会略显不足，而DASM&RASM54则能够包含更多地左右脑不对称信息，会获得更好的分类效果。
然后再分析所有频段上的DASM135、RASM135和DASM&RASM270的情况，可以看到，除了第4组数据，其它7组数据的DASM&RASM270的结果均介于DASM135和RASM135的结果之间，并没有大于它们的结果，而且在第4组中甚至略微小于它们的结果，平均数据也得到了与第4组相同的结论。
所以笔者认为，DASM135和RASM135特征维度已经比较高了，其中一定包含了一些冗余的信息，这就导致了DASM&RASM270不仅特征维度过高，而且数据冗余较大，从而影响了分类器的分类效果。
因此，对于全频段而言，用DASM135或RASM135来分类已经足够了。
（5）对比同一组数据不同频段特征的分类效果：在表5-4中用加粗斜体标出了每一组 第28页共40页 基于脑电信号的情绪识别 数据在五个频段中的最高识别准确率，其中，有5组数据都在Gamma频段上的准确率最高，其余3组数据则是在Beta频段上有较高的准确率，而图5-4中也能直观地看出平均值也是在Gamma频段上的准确率最高。
同样的，将频段中的最高准确率和所有频段联合作为特征获得的准确率作比较，可以发现，除了第一组数据之外，包括平均值在内，都是个别频段特征的最高准确率比较高，这在理论上也是符合的，因为Delta、Theta频段的准确率都远远低于Beta和Gamma频段的准确率，所以在全频段上，频率较小的两个频段上的无效特征甚至会给其它频段形成干扰，最终导致全频段上的结果反倒不如Gamma或者Beta频段的结果了。
参考在2.4中关于脑电频段特征的理论：Beta频段主要反映了人在日常清醒状态下的脑电波情况，会随着情绪的剧烈波动而有所变化；Gamma频段主要在人主观集中精神力注意某项事物、或是受到集中而强烈的感官刺激时会有明显的波动。
本次实验结果也基本符合该理论的说法，可见情绪特征大多数存在于较为高频的脑电信号中。
5.4.2K最近邻分类 之前所有的分类结果都是使用线性SVM分类器获得的，现在考虑采用K最近邻法（KNN）进行分类，取微分熵DE310维特征，经过LDS平滑后，用K=1的K最近邻算法进行分类，并与线性SVM的结果进行比较，结果如表5-6和图5-6所示（量纲为%）： SVMKNN 第1组77.6648.94 表5-6每一组数据SVM和KNN分类的结果对比第2组第3组第4组第5组第6组88.0265.5377.6077.0890.8972.4048.3062.5038.8090.89 第7组78.3055.74 第8组94.2783.07 识别准确率（%） 1009080706050SVM40KNN3020100第1组第2组第3组第4组第5组第6组第7组第8组组数 图5-6每一组数据SVM和KNN分类的结果对比 同特征平滑情况一样的，笔者将同一名被试的两组数据做平均来减少SVM训练参数的影响，见表5-7和图5-7（量纲为%）： 第29页共40页 SVMKNN 基于脑电信号的情绪识别 表5-7每一名被试SVM和KNN分类的结果对比 被试
1 被试
2 被试
3 被试
4 77.37 89.46 71.92 85.94 55.72 81.65 52.02 72.79 总平均
81.1765.55 识别准确率（%） 100 90 80 70 60 50SVM 40KNN 30 20 10 0被试
1 被试
2 被试3被试数 被试
4 总平均 图5-7每一名被试SVM和KNN分类的结果对比 在图5-6和图5-7中都能够直观地看到，SVM分类的结果要远高于KNN的结果，平均高了15%左右。
关于线性SVM和KNN算法的理论均在第五章中有所介绍，SVM采用了比KNN要复杂得多的模型，而KNN仅仅用最近邻的投票方法，明显不能够在脑电信号这种特征众多而规律复杂的情况中使用。
5.5特征降维 在本课题中，由于DE是由PSD作对数运算获得的，因此认为DE和PSD的冗余度很高，又因为DE的效果在整体上比PSD要好，所以选择DE310作为DE和PSD特征的代表。
所以在本课题中，笔者将DE310、DASM135和RASM135一共580维特征作为有效特征，但事实上，这些特征之间有很多重复冗余的信息，也有一些与情绪识别的关联并不大，这些无关和冗余的特征不仅影响了学习分类的速度，同样会对分类结果产生一定的干扰，使准确率有所下降。
所以，笔者在此处使用了主成分分析（PCA）和最小冗余最大相关（MRMR）两种算法，对这580导的数据进行降维。
主成分分析和最小冗余最大相关算法在第五章中有具体的介绍。
笔者采用了LDS平滑后的数据，线性SVM分类器，分别通过PCA和MRMR[20]从580维开始，步长为25进行特征降维，由于每组有48个数据，总数据量非常大，而且同一个被试的两组数据也会受到SVM参数的影响，因此对每个被试的两组结果求平均，得到表5-8（量纲为%）。
第30页共40页 被维数试PCA1MRMR 维数 PCAMRMR被维数试PCA2MRMR维数 PCAMRMR被维数试PCA3MRMR维数 PCAMRMR被维数试PCA4MRMR维数 PCAMRMR平维数均PCAMRMR维数 PCAMRMR 5 56.780.95 305 78.8172.54 5 92.1994.01 305 94.0196.09 5 41.2879.68 305 70.6473.41 5 84.3886.33 305 85.0389.71 5 68.6385.24 305 82.1282.94 30 70.1888.16 330 78.9772.38 30 96.6194.01 330 94.0195.44 30 66.2880.96 330 70.6474.04 30 85.0386.33 330 85.0388.80 30 79.5287.36 330 82.1682.67 表5-8PCA和MRMR特征降维后的分类结果5580105130155180 66.2876.5576.4976.1775.5678.6577.6179.1967.3773.2473.3470.80 355380405430455480 79.279.3379.279.3379.0779.0774.8074.5173.4179.5177.1979.99 5580105130155180 94.0194.0194.0194.0194.0194.0196.6196.6193.3694.0193.3693.49 355380405430455480 94.0194.0194.0194.0194.0194.0196.0996.3596.4896.4896.3595.83 5580105130155180 71.8171.4970.5370.8570.9570.7575.7581.0681.4981.1779.6880.64 355380405430455480 70.6470.6470.6470.6470.7570.7569.6872.0273.8370.5370.9670.64 5580105130155180 84.9085.0385.0385.0385.0385.0389.5989.8589.9890.1189.4689.19 355380405430455480 85.0385.0385.0385.0385.0385.0389.0688.1587.6387.3787.1186.72 5580105130155180 79.2581.7781.5281.5181.3982.1184.8986.6883.0584.6383.9683.53 355380405430455480 82.2282.2582.2282.2582.2182.2182.4182.7682.8483.4782.9083.29 基于脑电信号的情绪识别 205 77.8076.16 505 79.0779.20 205 94.0194.79 505 94.0195.83 205 70.7571.38 505 70.7571.17 205 85.0389.06 505 85.0386.59 205 81.9082.85 505 82.2183.20 230 78.4573.80 530 79.0779.52 230 94.0194.92 530 94.0194.92 230 70.7575.74 530 70.7571.07 230 85.0389.58 530 85.0386.72 230 82.0683.51 530 82.2183.06 255 79.0775.17 555 79.0778.43 255 94.0195.44 555 94.0194.01 255 70.6478.61 555 70.7570.64 255 85.0388.93 555 85.0386.85 255 82.1984.54 555 82.2182.48 280 78.8476.05 580 79.0779.07 280 94.0196.35 580 94.0194.01 280 70.6476.17 580 70.7570.75 280 85.0389.58 580 85.0385.03 280 82.1384.54 580 82.2182.21 为了更直观地看出用PCA和MRMR进行特征降维的效果，对于每个被试的数据作图，见图5-8至图5-12。
第31页共40页 识别准确率（%） 95908580757065605550
5 被试
1 基于脑电信号的情绪识别 MRMRPCA 55105155205255305355405455505555特征维度 图5-8被试1PCA和MRMR降维效果 100999897969594939291905 被试2 55105155205255305355405455505555特征维度 图5-9被试2PCA和MRMR降维效果 MRMRPCA 识别准确率（%） 第32页共40页 识别准确率（%） 908580757065605550454035
5 被试
3 基于脑电信号的情绪识别 MRMRPCA 55105155205255305355405455505555特征维度 图5-10被试3PCA和MRMR降维效果 9492908886848280
5 被试4 55105155205255305355405455505555特征维度 图5-11被试4PCA和MRMR降维效果 MRMRPCA 识别准确率（%） 第33页共40页 识别准确率（%） 9590858075706560
5 平均 基于脑电信号的情绪识别 MRMRPCA 55105155205255305355405455505555特征维度 图5-12四名被试平均PCA和MRMR降维效果 首先，单独地看PCA降维后的情况，所有被试在PCA从580维开始降到80维的过程中，识别准确率几乎不变，或仅仅有微小的下降；除被试4外，在PCA从80维降到5维的过程中，会突然有一个大幅度的下降；而只有被试2在PCA降维过程中，有过明显的准确率提升，但这可能仅仅是个别的巧合，并没有代表性。
如果认为图5-6中PCA降维的平均识别准确率是有代表性的话，那么足以说明采用PCA进行脑电数据的降维虽然可以保证在100维以上的识别效果不变差，但也仅仅只有节省训练时间和存储空间的作用，PCA降维并不能够通过减少冗余和无用特征来提升识别的准确率，并且，当特征维度降到100维以下后，往往会因为不能够包含足够多的特征信息，使得识别准确率有很大的下降。
PCA之所以不能够有很好的效果，笔者认为其中可能因为PCA是通过方差最大和特征之间的线性无关等性质将原特征映射到了新的空间中，实际上就是通过线性变换的方式组成一组全新的主成分向量，然而，这种提取原特征中互不相关的主成分组成新特征的方法毕竟是将特征值及其排列顺序等完全改变了，因此可能会因为彻底改变了特征空间而丢弃了隐含在特征排布中的重要关联信息，从而无法明显提升识别准确率。
然后，来单独分析以下MRMR的情况，MRMR随着维度下降而变化的幅度要比PCA大得多，而MRMR的降维效果也更因人而异。
像被试
1，一开始识别准确率随着MRMR降维而逐渐降低，然后在降至105维以下后又突然快速地上升；而被试2的准确率则一直在起伏，随着MRMR从580降到450维左右时，准确率都在上升，而之后从450维到105维的过程中，准确率又一直下降，在105维到55维中有一个急速的上升之后，准确率又随之下降了；对于被试3和被试
4，则是在MRMR从580维降到80维的过程中，除了偶有几点有微弱的下降之外，识别准确率的趋势一直是呈上升状态的。
如果撇开这其中的个性化因素不说，四名被试的MRMR降维结果还是有很多共同规律的，一是MRMR的降维过程中一定会得到比580维识别准确率要明显提高的效果，而最高准确率对应的维度通常在100维以下，像被试1出现在30维，而其余三名被试均出现在80维处，可见只要80维就会包含580维中所有的有效信息了，再加上去掉了很多无用特征和伪迹，准确率的提高也是理所当然的；二是每名被试在MRMR降维到5维的时候，识别准确率都还是大于等于580维的识别准确率的，由此可见通过MRMR获得的前5维最小冗余最大相关的特征就足以包含580维特征 第34页共40页 基于脑电信号的情绪识别 中大部分的有效信息了。
比较PCA和MRMR降维的结果，可以在图中直观地看到，虽然在降维过程中，有些 被试的MRMR的准确率会低于PCA的准确率，但是总体而言，MRMR对于有效特征的选择还是明显优于PCA的，PCA通常不能够获得比580维的准确率更高的效果，而MRMR降维时，准确率一定会有明显的上升，特别是在100维至5维的情况中，MRMR可以保证不低于580维的准确率，通常有明显的上升，但是PCA的结果一定会低于580维的准确率，通常会急剧下降。
而且，MRMR并不改变特征空间，它仅仅是将特征按照最小冗余最大相关性的原则重新排序了一下，因此并不会像PCA那样有丢失部分信息的可能，又可以直接看到贡献率大的特征是哪些，所以，关于情绪识别的脑电特征选择，笔者倾向于使用MRMR。
5.6本章小结 本章介绍了数据处理过程和得到的结果分析，通过本课题的研究，笔者认为基于脑电的情绪识别是可行的，微分熵作为脑电信号的特征能够较好地表现出情绪信息，而DASM和RASM的效果则验证了情绪来源于左右脑的不对称性的理论，脑电信号中的情绪信息主要集中在高频Beta和Gamma频段中。
在特征提取之后，对特征进行平滑和降维能够提高识别的效果，其中，特征平滑时采用线性动力系统会比较好，而特征降维时则应使用最小冗余最大相关算法进行。
第35页共40页 基于脑电信号的情绪识别 第六章结论与展望 情绪这一课题与人类心理和生理都有着密切的关联，关于情绪的研究至今仍有很多不明确的地方。
而在本课题中，笔者并没有过多关注情绪的产生机制和生理基础，而是使用了脑电信号来对情绪的愉悦快乐和悲伤沉痛这两种状态进行识别，通过对脑电信号的有效处理和基于脑电信号的情绪识别结果分析，得到了一些关于脑电和情绪识别方面的规律和结论。
在本课题中，笔者对四名被试者（两名男性两名女性）分别做了两组实验，使用电影中的高潮片段作为刺激材料，同时伴有被试者自己的想象等方法诱发出了愉悦和悲伤两种情绪，一共获得了8组脑电数据。
在数据处理的过程中，笔者首先用低通滤波的方法对脑电信号进行了预处理，滤去了高频的肌电干扰；然后，笔者使用短时傅里叶变换将时域信号转换成时频信号，获得脑电信号在Delta、Theta、Alpha、Beta和Gamma五个频段上每一秒的微分熵特征，并且利用了大脑在产生情绪上的不对称性，又提取了DASM和RASM特征；由于情绪变化是一个平缓的过程，笔者随后用滑动平均和线性动力系统两种方法对特征进行了平滑；在获得了所有特征经由LDS平滑的数据后，笔者利用线性SVM分类器对不同的特征组合进行学习分类，同时将SVM分类的结果与KNN算法的结果进行了比较；最后，由于脑电信号的特征维度高达580导，为了减少冗余和无效特征，提高分类效率，笔者使用了PCA和MRMR两种特征降维方法进行了特征选择。
通过上述实验和数据处理过程以及第六章中详细介绍的数据处理结果，笔者在本课题中研究得到的结论概括如下（具体的结论与数据对照见第六章）：
（1）基于脑电信号的情绪识别，是一种对个性化很敏感的方法，对于不同的被试，他们的生理心理状况的不同，对刺激材料感受的不同等，都会引起较大的效果差异。
本课题中8组实验的平均识别准确率为81.17%，因此笔者基于脑电信号的情绪识别是可行的，而且本次实验采集脑电信号的方法和数据处理方法均是正确有效的。
（2）基于脑电信号的情绪识别对外界环境和实验设备较为敏感，对于同一个人的不同组实验，由于实验用脑电帽不同、脑电帽佩戴位置的细微差别、外界环境的改变等都会造成脑电信号的差异。
（3）特征平滑能够去除特征中的噪声，使数据中含有的情绪信息更为纯粹，因此经过特征平滑后的识别准确率会有相当大的提高，而且，未平滑时分类效果越差的数据，平滑后能够提高的准确率就越大。
特征平滑同时还可以大幅度减小训练和分类的时间。
而对于滑动平均和线性动力系统两种特征平滑算法，通过实验对比可得，线性动力系统要更为有效可靠。
（4）采用功率谱密度作为特征的分类结果虽然和采用微分熵作为特征的分类结果互有高低，但是，在Belta频段、Gamma频段和所有频段上，微分熵特征的分类效果会更好。
（5）虽然采用微分熵作为特征的分类结果要更稳定一些，然而，DASM和RASM中包含的情绪信息却也是可靠而足够的，由于DASM和RASM的维数远远小于微分熵的维数，因此人类的情感是左右脑的不对称意识所引起的这一说法是有实际依据的。
（6）在每个单独的频段上，DASM和RASM联合的特征组DASM&RASM54的分类效果要比单独的DASM27和RASM27效果要好，但是在全频段上，DASM&RASM270的分类效果往往比DASM135和RASM135的效果要差一些。
（7）情绪特征大多数存在于较为高频的脑电信号中，因此采用Gamma频段特征的识 第36页共40页 基于脑电信号的情绪识别 别准确率最高，Beta频段其次，而Alpha、Theta和Delta频段的特征则无法正确识别出情绪。
（8）对于脑电信号的学习分类，SVM分类器的结果要远高于KNN的结果，由于SVM采用了比KNN要复杂得多的模型，而KNN算法过于简单，不适宜应用于规律复杂的脑电信号。
（9）PCA降维并不能够通过减少冗余和无用特征来提升识别的准确率，而且在维数低于一定值后，准确率会急剧下降，因此PCA仅有节省训练时间和存储空间的作用。
而MRMR则明显优于PCA，MRMR降维时，准确率一定会有明显的上升，特别是在低维的时候，MRMR可以保证大于等于高维时的准确率，这一点是PCA不能做到的。
通过本次研究，笔者得到了以上这些结论，不过，也仍然有很多不明确的地方，主要还是数据量不够，并不能够完全代表普遍的情况。
因此，下一步工作首先是要采集更多被试的数据。
同时，本课题中采用的算法也有可以改进的地方，包括模型融合等，有待进一步的尝试。
情绪识别的应用是很广泛的，但是基于脑电信号的情绪识别还处于实验室研究状态。
在更长远的未来，我们可以考虑把脑电信号、眼电信号、视频信号等结合起来，实现更准确的情绪识别。
同时，也可以把基于脑电信号的情绪识别应用于其他相关的领域中去，比如疲劳驾驶检测系统等，来实现其实际应用的价值。
第37页共40页 基于脑电信号的情绪识别 参考文献 [1]BartelsG,ShiLC,LuBL.AutomaticartifactremovalfromEEG-amixedapproachbasedondoubleblindsourceseparationandsupportvectormachine[C]//EngineeringinMedicineandBiologySociety(EMBC),2010AnnualInternationalConferenceoftheIEEE.IEEE,2010:5383-5386. [2]罗跃嘉,黄宇霞,李新影,等.情绪对认知加工的影响:事件相关脑电位系列研究[J].心理科学进展,2006,14
(4):505-510. [3]NieD,WangXW,ShiLC,etal.EEG-basedemotionrecognitionduringwatchingmovies[C]//NeuralEngineering(NER),20115thInternationalIEEE/EMBSConferenceon.IEEE,2011:667-670. [4]伍国锋,张文渊.脑电波产生的神经生理机制[J].临床脑电学杂志,2000,9
(3):188-190. [5]杨若晓.语音乐律研究报告[D].北京大学，2008[6]KisleyMA,CornwellZM.Gammaandbetaneuralactivityevokedduringasensory gatingparadigm:effectsofauditory,somatosensoryandcross-modalstimulation[J].Clinicalneurophysiology,2006,117(11):2549-2563.[7]孙卉.对于情绪定义的再探讨[J].社会心理科学,2010(009):39-42.[8]JamesW.II.—WHATISANEMOTION?
[J].Mind,1884(34):188-205.[9]EkmanP.Moods,emotions,andtraits[J].Thenatureofemotion:Fundamentalquestions,1994:56-58.[10]PlutchikR.TheNatureofEmotionsHumanemotionshavedeepevolutionaryroots,afactthatmayexplainplexityandprovidetoolsforclinicalpractice[J].AmericanScientist,2001,89
(4):344-350.[11]LangPJ,BradleyMM,CuthbertBN.Internationalaffectivepicturesystem(IAPS):Instructionmanualandaffectiveratings[J].TheCenterforResearchinPsychophysiology,UniversityofFlorida,1999.[12]聂聃，王晓韡，段若男，吕宝粮.基于脑电的情绪识别研究综述[J].中国生物医学工程学报，2012,31
(4):595-606.[13]郑璞,刘聪慧,俞国良.情绪诱发方法述评[J].心理科学进展,2012,20
(1):45-55.[14]周卫东,贾磊.小波变换和独立分量分析去除脑电信号中的噪声和干扰[J].山东大学学报(医学版),2003,41
(2):116-119.[15]魏景汉,罗跃嘉.认知事件相关脑电位教程[M].经济日报出版社,2002.[16]BishopCM.Patternrecognitionandmachinelearning[M].NewYork:springer,2006.[17]ShiLC,LuBL.Off-lineandon-linevigilanceestimationbasedonlineardynamicalsystemandmanifoldlearning[C]//EngineeringinMedicineandBiologySociety(EMBC),2010AnnualInternationalConferenceoftheIEEE.IEEE,2010:6587-6590. 第38页共40页 基于脑电信号的情绪识别 [18]曹静.基于最大相关最小冗余的特征选择算法研究[D].燕山大学,2010.[19]ChangCC,LinCJ.LIBSVM:alibraryforsupportvectormachines[J].ACM TransactionsonIntelligentSystemsandTechnology(TIST),2011,2
(3):27.[20]PengH,LongF,DingC.Featureselectionbasedonmutualinformationcriteria ofmax-dependency,max-relevance,andmin-redundancy[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2005,27
(8):1226-1238. 第39页共40页 基于脑电信号的情绪识别 谢辞 感谢吕宝粮老师在实验设计和撰写论文过程中的悉心指导，并在我毕业设计遇到问题时提供了许多宝贵的意见和建议。
同时，吕老师严谨的治学研究态度影响了我，让我在做毕业设计的期间也逐渐养成了一些良好的研究习惯。
再次感谢吕老师对于我毕业设计的指导和帮助。
感谢段若男学姐和王晓韡学长在我做实验和数据处理过程中给予的帮助和指导，教会了我使用脑电信号的采集设备，并指出了我在实验设计和数据处理算法中的不足，同时指导我如何进行改进。
感谢李凡学长在实验室给与我硬件上的支持，感谢实验室的每一位同学维护了如此优秀的实验环境和实验氛围，让我能够顺利完成数据的采集工作。
感谢每一位志愿作为被试者的同学，提供了宝贵的实验数据。
感谢学院和系为我提供了如此优秀的研究环境和实验器材。
第40页共40页 基于脑电信号的情绪识别 EEG-BASEDEMOTIONRECOGNITION
1.Introduction Emotionisbinationofhumanconsciousnessandbehaviorperformance.Itlargelyreflectshuman’sperceptionofthingsandattitudes.Indailylife,moodexistseverywhere,especiallyininterpersonalrelationships,anditcannotbeignored.Similarly,intheseniormanmachineinteractionsystems,puter-basedemotionrecognitiontechnologyhasplayedaverycrucialrole.
通过查阅资料和实验过程，对上述各个步骤加以了解和实践。
理解掌握常用的情绪分类模型 目前最常见的分类方法是Lange的二维情绪分类模型等。
通过查阅资料，理解情绪分类模型的意义。
理解掌握常用的脑电信号的采集和预处理方法 脑电信号的采集通常包括信号的提取和放大，而预处理算法则主要指去除信号伪迹、信号增强算法等。
数字滤波和独立成分分析等算法可实现脑电信号的去伪迹以及信号增强。
通过查阅资料和实验过程，理解各种常用的脑电信号的预处理方法并实践了解。
理解掌握常用的脑电信号特征及其提取方法 常见的脑电特征主要分为三类:时域特征、频域特征和时频特征。
时域特征的提取主要分析波形的几何性质；频域特征的提取则主要基于各频段的功率；时频特征的提取包括快速傅里叶变换、小波变换等方法。
另外，还有事件去同步化和相关同步化等其他相关特征。
通过查阅资料和实验过程，理解并实践各种脑电信号特征的提取方法。
理解掌握常用的情绪模式的学习和分类方法 学习方法分为无监督学习和有监督学习两大类。
目前常用的模式分类方法包括模糊聚类、K均值、自组织映射、隐马尔可夫模型方法、人工神经网络方法、支持向量机模型方法等。
通过查阅资料和实验过程，对常用的情绪模式的学习和分类方法有所认识和实践。
设计实验，获取研究数据，进行分析和处理 通过实验选取和改进基于脑电的情绪识别算法 通过实验，设计出相对高效的基于脑电的情绪识别算法，包括脑电信号的预处理方法、脑电信号的特征提取方法、相关特征的模式分类方法等。
2 毕业设计（论文）进度安排： 序号毕业设计（论文）各阶段内容 时间安排
1 选择课题，对其进行初步的了解和认识 2012.12
2 阅读文献资料，了解相关算法 2013.1-2013.3
3 实践各种算法，并设计进行情感识别的实验
2013.3-2013.4
4 设计基于脑电的情绪识别算法 2013.4-2013.5
5 完善基于脑电的情绪识别算法 2013.5
6 撰写论文 2013.5 备
注 课题信息：课题性质：设计课题来源*：国家级 项目编号其他 学院（系）意见： 论文 省部级 校级 973项目2013CB329401 指导教师签名： 横向 预研 年 月 日 院长（系主任）签名： 年 月 日 学生签名：
3 年 月 日 上海交通大学毕业设计（论文）学术诚信声明 本人郑重声明：所呈交的毕业设计（论文），是本人在导师的指导下，独立进行研究工作所取得的成果。
除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。
对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。
本人完全意识到本声明的法律结果由本人承担。
作者签名： 日期： 年月日 上海交通大学毕业设计（论文）版权使用授权书 本毕业设计（论文）作者同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。
本人授权上海交通大学可以将本毕业设计（论文）的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本毕业设计（论文）。
保密□，在年解密后适用本授权书。
本论文属于 不保密□。
（请在以上方框内打“√”） 作者签名：日期：年月日 指导教师签名：日期：年月日 基于脑电信号的情绪识别 基于脑电信号的情绪识别 摘要 情绪在很大程度上反映了人类的认知和态度，随着脑科学和心理学的发展，情绪识别已经逐渐被人们所重视，成为该领域的研究重点之
一。
本课题就基于脑电信号的情绪识别进行研究，这一课题对于现今脑机接口、驾车安全系统等的研究都有着一定的价值。
在本课题中，笔者通过情绪刺激实验诱发出被试者愉悦快乐和悲伤沉痛两种情绪状态，然后采集被试者的脑电信号，运用短时傅里叶变换提取出脑电信号中的微分熵(DE)、左右脑微分熵不对称差（DASM）和左右脑微分熵不对称商（RASM）特征，利用线性动力系统（LDS）进行特征平滑后，输入支持向量机（SVM）分类器中进行学习分类，又采用了主成分分析（PCA）和最小冗余最大相关（MRMR）算法对脑电特征进行选择和降维。
通过研究，笔者发现，基于脑电信号的情绪识别是有效而可行的，其中，DASM和RASM特征能够包含不少于微分熵的情绪信息；而LDS特征平滑和MRMR特征降维均能够有效提升情绪识别的准确率；脑电信号中的情绪信息大多集中在高频段内，Gamma频段的识别效果最好，Beta频段其次，Alpha、Theta和Delta频段则效果较差。
关键词：脑电信号，情绪识别，微分熵，线性动力系统，最小冗余最大相关，关键频段 基于脑电信号的情绪识别 EEG-BASEDEMOTIONRECOGNITION ABSTRACT Theemotionlargelyreflectshumans’cognitionandattitudes.Alongwiththedevelopmentofbrainscienceandpsychology,emotionrecognitionhasgraduallybeenpaidattentiontoandingtheresearchfocusinthisfield.iconEEG-basedemotionrecognitionhasacertainvalueontoday’sresearchofbrain-machineinterfacesanddrivingsafetysystem.Inthisissue,throughtheemotionalstimuliexperiment,theauthorinducedsubjects’twokindsofemotionalstateswhicharehappinessandsadness,andthencollectedthesubjects’EEGdata.Afterthat,theauthorusedshort-timeFouriertransformtoextracttheEEGdifferentialentropy(DE)features,theasymmetrydifferencesofDE(DASM)featuresandtheasymmetryratiosofDE(RASM)features.Afterusingalineardynamicsystem(LDS)tosmoothfeatures,theauthorthenusedthelinearsupportvectormachine(SVM)classifiertoclassifytheemotionstates,andalsousingtheponentanalysis(PCA)andminimumredundancymaximumrelevance(MRMR)algorithmtodotheEEGfeaturedimensionreduction.Fromtheresearch,theauthorfoundthattheEEG-basedemotionrecognitioniseffectiveandfeasible,inwhich,theDASMandRASMfeaturescancontainasmuchinformationasthedifferentialentropyfeatureswhiletheLDSandtheMRMRalgorithmsarebothabletoenhancetherecognitionuracyeffectively.TheinformationofEEG-basedemotionismostlyconcentratedinthehighfrequencyband.SotheGammabandhasthebestrecognitionperformanceandtheBetabandisthesecondbestone.However,theAlpha,ThetaandDeltabandsarelesseffective. Keywords:EEG,emotionrecognition,differentialentropy,LDS,MRMR,keyfrequencyband 目录 基于脑电信号的情绪识别 第一章绪论------------------------------------------------------------------11.1研究的目的和意义-------------------------------------------------------11.2国内外研究现状--------------------------------------------------------11.3工作介绍--------------------------------------------------------------11.4本章小结---------------------------------------------------------------
2 第二章大脑和情绪------------------------------------------------------------32.1大脑的结构及功能-------------------------------------------------------32.1.1大脑的组成与结构--------------------------------------------------32.1.2大脑皮质的结构与功能----------------------------------------------32.2脑电的产生机制--------------------------------------------------------42.3脑电的采集------------------------------------------------------------42.4脑电的频段特征---------------------------------------------------------52.5情绪及其产生-----------------------------------------------------------52.5.1情绪的定义---------------------------------------------------------52.5.2情绪的产生---------------------------------------------------------52.6情绪分类及情绪模型-----------------------------------------------------52.6.1情绪的分类---------------------------------------------------------52.6.2情绪模型-----------------------------------------------------------62.7情绪的诱发------------------------------------------------------------62.7.1情绪性材料诱发-----------------------------------------------------62.7.2情绪性情境诱发-----------------------------------------------------62.7.3本课题中使用的情绪诱发方式-----------------------------------------72.8情绪的识别方法--------------------------------------------------------72.9本章小结---------------------------------------------------------------
7 第三章实验------------------------------------------------------------------83.1实验目的--------------------------------------------------------------83.2刺激材料--------------------------------------------------------------83.3被试情况--------------------------------------------------------------83.4实验环境--------------------------------------------------------------
9 基于脑电信号的情绪识别 3.5实验过程-------------------------------------------------------------103.6注意事项-------------------------------------------------------------113.7实验评价-------------------------------------------------------------123.8本章小结-------------------------------------------------------------12第四章算法-----------------------------------------------------------------134.1脑电信号的预处理------------------------------------------------------13 4.1.1去伪迹------------------------------------------------------------134.2特征提取-------------------------------------------------------------14 4.2.1离散傅里叶变换和短时傅里叶变换------------------------------------144.2.2功率谱密度和微分熵------------------------------------------------154.3特征平滑-------------------------------------------------------------154.3.1滑动平均----------------------------------------------------------154.3.2线性动力系统------------------------------------------------------154.4情绪模式的学习和分类--------------------------------------------------164.4.1支持向量机--------------------------------------------------------164.4.2K最近邻----------------------------------------------------------174.5特征降维-------------------------------------------------------------184.5.1主成分分析--------------------------------------------------------184.5.2最小冗余最大相关--------------------------------------------------194.6本章小结-------------------------------------------------------------19第五章实验结果-------------------------------------------------------------205.1数据预处理------------------------------------------------------------205.2特征提取--------------------------------------------------------------205.3特征平滑--------------------------------------------------------------225.4学习分类--------------------------------------------------------------245.4.1线性SVM分类-----------------------------------------------------245.4.2K最近邻分类------------------------------------------------------295.5特征降维--------------------------------------------------------------305.6本章小结--------------------------------------------------------------35第六章结论与展望-----------------------------------------------------------36参考文献--------------------------------------------------------------------38谢辞------------------------------------------------------------------------40 第一章绪论 基于脑电信号的情绪识别 1.1研究的目的和意义 情绪是综合了人意识和行为的表现，在很大程度上反映了人对事物的认知和态度。
在日常生活中，情绪无处不在，特别是在人际交往中有不可忽视的影响。
同样的，在高级人—机交互系统中，基于计算机技术的情绪识别起到了非常关键的作用。
情绪识别因其意义重大、应用广泛，已然成为现今神经科学、心理学和计算机科学研究的热门重点，是人工智能的一大突破。
比如在残疾人护理方面，对于那些无法通过语言或动作表达感受的人来说，只有用计算机对其情绪进行检测，才能选择最舒适的护理方式；在驾车安全方面，通过情绪识别可以避免司机在开车时过度激动或过于疲劳，从而大大减少车祸的发生。
情绪识别的方法主要分为两大类：基于非生理信号的识别和基于生理信号的识别。
基于非生理信号的识别主要包括对面部表情和语音语调的识别。
但是，面部表情和语音语调都可以刻意隐藏，甚至有人在这些方面会有表达上的障碍，所以，这类情绪识别的方法并不可靠，也不够实用。
而基于生理信号的识别则指对脑电、肌电、心电、皮肤阻抗、心率和呼吸信号等的监测来获得情绪状态，其中，基于脑电信号的情绪识别因其识别成功率高、评价标准清晰、设备又较易获得，成为了如今比较常用的情绪识别方式。
本课题的研究重点为采集多组脑电数据，并尝试多种脑电信号的处理算法，分析脑电信号在不同情绪状态下的不同表现，从而实践基于脑电信号的情绪识别的可行性，提高识别准确率，同时研究得到与情绪变化密切相关的频段。
1.2国内外研究现状 目前，国内外在基于脑电信号的情绪识别领域都有了一定的研究进展。
BartelsG等[1]研究得出了脑电信号预处理中有效的去伪迹算法，脑电信号中的伪迹包括眼电、肌电、心电等，BartelsG等使用Amuse算法来去除眼电噪声，用Infomax算法来去除肌电噪声，并且较为成功地去除了伪迹，得到了更纯净的脑电信号。
Christos等[2]将国际情感图片系统作为刺激材料，采集通过图片诱发出情感这一事件的相关电位（P100，P200，P300，N100，N200），并将这些电位的时域信号和Delta、Theta、Alpha频段上的频域信号作为分类特征，用于情感的识别，并且效果较好。
NieD等[3]以视频作为刺激材料诱发出正面和负面两类情绪，然后选择了50个与情绪识别相关度最大的共同特征，通过分析这些特征所对应电极导联的位置和相应的频段，发现了与情绪相关的脑电信号主要产生于Gamma频段的左额叶和右颞叶，Beta频段的中间区域和Alpha频段的右枕叶和顶叶。
1.3工作介绍 本课题将着重研究脑电信号在愉悦快乐时和悲伤沉痛时的不同趋势，并利用这种不同来预测被试当时的情绪状态。
在目前国内外研究的基础上，笔者尽可能使用有效的实验诱发被试者的情绪并采集脑电数据，同时选择了数种不同的脑电信号处理算法进行分析和对比，并尝试找出与情绪变化关系密切的频段。
在实验中，笔者利用分别带有愉悦快乐和悲伤沉痛的视频片段作为刺激材料诱发被试者相应的情绪，一共邀请了四名被试者参与实验，每名被试者均进行了两次实验，因此笔者最终采集到了八组脑电数据。
在数据处理的过程中，笔者尝试采用短时傅里叶变换（STFT）、 第1页共40页 基于脑电信号的情绪识别 滑动平均（MA）、线性动力系统（LDS）、支持向量机（SVM）、K最近邻（KNN）、主成分分析（PCA）、最小冗余最大相关（MRMR）等算法的不同组合来处理脑电数据。
最终笔者将通过这些算法的不同效果来获得基于脑电信号的情绪识别的最优数据处理方法，以及通过研究被试在不同频段的识别效果来获得最能反映人类情绪特征的频段。
1.4本章小结 在本章中，笔者主要介绍了基于脑电的情绪识别的目的和意义，举例说明了国内外在该领域的研究现状，同时概述了在本课题中用到的算法和解决的问题。
第2页共40页 第二章大脑和情绪 基于脑电信号的情绪识别 2.1大脑的结构及功能 2.1.1大脑的组成与结构 人脑，由端脑、间脑、小脑和脑干组成，是中枢神经系统的重要部分之
一，而大脑则包括了端脑和间脑两部分。
端脑由左右两个大脑半球组成，负责产生意识感觉和控制肢体运动等高级功能的实现，在解剖医学上，我们认为端脑即是大脑。
大脑的两个半球主要由、神经纤维髓质和大脑皮质组成。
其中，大脑皮质是一层覆盖在端脑表面、由神经元组成的灰质，神经纤维髓质则是大脑皮质深层的白质，而基底神经节则组成了在髓质中以纹状体为主的核。
大脑的基本构成单位是神经元，人脑的神经元数约达1011个左右。
神经元之间以电和化学的方式互相传递信号，依靠复杂多样的突触连接来实现一个庞大的自调控、自学习、自组织的神经系统。
2.1.2大脑皮质的结构与功能 大脑皮层是包裹在大脑两个半球外侧的皮层状结构，厚度约有2至4毫米。
在它的表面，有些区域向内凹陷，形成了“脑沟”，有些区域向外隆起，形成了“脑回”。
大脑纵裂将其分成左、右两个半球，这两半球经胼胝体连接，而在每个半球的背外侧面，主要脑沟将其分成了四个叶，分别为顶叶、枕叶、额叶和颞叶。
图2-1表示了这四个叶在大脑半球上的具体分布。
图2-1大脑皮层的结构和分区 大脑皮质通过交换的方式来分析、存储和产出样本。
这些样本可以点亮丘脑中的丘觉从而产生意识。
大脑皮质中不同的脑叶都能够独立产出不同功能的样本，当这些功能互相独立的样本进入丘脑后，丘觉就会相应地产生不同而独立的意识，正是这些意识的相互作用，才会形成人类的复杂心理活动。
在多数人中，左脑主要掌管语言功能，而右脑则负责情感和形象思维等功能，因而它们有各自独立的意识思想链和记忆。
其中，额叶主要负责自主运动和高级认知的功能，包括学习、决策、情绪、语言等；顶叶负责信息感知，包括 第3页共40页 基于脑电信号的情绪识别 视觉信息和体感信息等；颞叶负责听觉、嗅觉和记忆等功能；而枕叶则多用于视觉处理。
2.2脑电的产生机制 直至目前，有关脑电产生的研究还有很多不明确的地方，因此，脑电的产生机制一说也并没有定论。
伍国锋等在《脑电波产生的神经生理机制》[4]一文中，介绍了多种关于脑电产生机制的说法，并认为目前较成熟且依据充分的说法是突触后电位学说。
突触后电位学说认为脑电波来源于皮层内神经细胞群同步活动时的突触后电位。
突触后电位是突触后神经元在突触传递兴奋或抑郁信息时产生的电位变化。
当大脑中众多突触细胞同时进行兴奋或抑制的传输时，这些细胞产生的突触后电位就会叠加导致节律性脑电波的波幅增大，从而能够被脑电仪器检测到。
反之，如果一些突触细胞在传递兴奋，而另一些在传递抑制，那么它们各自产生的突触后电位就会相互抵消，此时节律性脑电波的波幅减小，甚至会接近于消失。
这种说法在一些实验中也获得了事实依据。
2.3脑电的采集 脑电，是指脑细胞群自发性、节律性的电活动，而脑电的采集则是通过置于头皮表面的电极来记录下这种电波信息的过程，这种利用神经电生理方法检测得到的电波图谱，就称作脑电图（EEG）。
脑电图信号比较复杂，又易受其他生物电信号，诸如眼电、肌电、心电等的干扰，因此采集脑电时，必须将数量较多的电极集中放置在大脑表面的一个较小区域内，故而脑电图的导联一般会比较多而复杂。
虽然目前尚且没有一个公认的脑电图导联标准，但是脑电电极的摆放位置一般会按照10-20国际脑电记录系统[5]来设置，10-20系统共由21个电极组成，其中，FP为额极，Z为中线电极，CZ为中央点，PZ为顶点，O为枕点，T为颞点。
笔者在本课题实验中用到的是64导联的电极帽，它的电极摆放位置也是由10-20系统的标准扩展得到的，图2-2为64导电极帽的电极位置示意图。
图2-264导电极10-20系统放置法示意图 第4页共40页 基于脑电信号的情绪识别 2.4脑电的频段特征 脑科学和神经科学的研究表明，脑电的Delta频段、Theta频段、Alpha频段、Beta频段和Gamma频段与人们的各项生理心理活动有着密切的关系。
（1）Delta频段（1—4Hz）：成年人只有在深度无梦睡眠时，脑电波才会保持在Delta频段内，它是人在无意识状态时的脑电频段，此时，人的生理特征有呼吸深入、心跳减慢、血压和体温下降等。
（2）Theta频段（4—8Hz）：与Delta波类似，Theta波通常也在成年人睡眠时出现，但是这种睡眠往往并没有失去全部意识，是在浅眠状态时的脑电频段。
此时，人对外界的感官意识逐渐薄弱，却可以触发到深层的记忆，能够清晰地想起平时清醒状态时所忽略或不记得的事。
因此，如果可以将脑电波保持在Theta频段，那么该期间发生的事将会被清楚而长久地记住。
（3）Alpha频段（8—13Hz）：Alpha波是在脑电波中第一个被发现的，它是最基本的脑电波之
一。
在初醒时或半睡半醒时，人处在一种放松的状态，他的意识清醒，而身体却是放松的，此时，他的脑电就会保持在Alpha频段上。
但如果他此时受到了惊吓，或是他睁开双眼进行了有意识的思维活动，那么alpha波就会随即消失。
（4）Beta频段（13—30Hz）：Beta波反映的是人在日常清醒状态下的脑电情况，在beta频段中，人不仅仅头脑警觉度高、行动有效，而且他的情绪也会波动得比较剧烈，因此，当人出现了烦恼、紧张、兴奋、恐惧、气愤等强烈情绪时，他的脑电往往会在Beta频段中有所变化。
（5）Gamma频段（30—50Hz）：Gamma波是最高频率的脑电波，当神经元的不同群体同时发出相同信号以执行特定的认知或运动时，就形成了Gamma波[6]。
由此可见，当人主观集中精神力注意某项事物，或是受到集中而强烈的感官刺激时，他的脑电信号在Gamma频段就会有明显的波动。
2.5情绪及其产生 2.5.1情绪的定义 情绪，是对一系列主观认知经验的统称，它综合了多种感觉、思想和行为，因而既是主观的心理感受，又是客观的生理反应。
目前的研究中也并没有能够对情绪做出一个完整的定义，孙卉在《对于情绪定义的再探讨》[7]一文中认为，完整的情绪定义至少包括了外界刺激、需求预期、认知评价、感知测量等因素，正是这些因素在短时间内协调、同步地活动，人类才会拥有情绪这种反应机制。
2.5.2情绪的产生 正如情绪定义所包含的内容，情绪可以是由生理反应引起的，也可以是由认知评价引起的。
著名“詹姆士-兰格理论”[8]认为，情绪体验主要是由生理变化引起的，也就是说，外界的刺激会引发自主神经系统的活动，从而产生生理状态的改变，这种改变导致了情绪的产生。
现今神经科学的研究表明，人的情绪可以在没有自主意识的情况下产生，同时，情绪也可以反过来导致生理变化，这些成果均为该理论提供了事实佐证。
然而，一些情绪诸如骄傲、失望等与其说是生理反应，不如说是一种行为认知的结果。
这些情绪往往与面部表情和自主神经系统没有关系，而是运用人类自身的认知和文化等进行判断、评价、思考后产生的反应，因此，这些情绪是属于有自主意识的反应。
2.6情绪分类及情绪模型 2.6.1情绪的分类 第5页共40页 基于脑电信号的情绪识别 情绪的分类有两大观点，第一种观点认为，情绪可以被明确地分为几种不同的类别；第二种观点则认为，不同情绪只是程度上的不同，本质上是相同的。
情绪可明确划分学说认为，人类出于本能，与生俱来就有十几种“基本情绪”，然后在不同的文化和不同的社会条件下，这些“基本情绪”会演化出其他的“复杂情绪”[9]。
常见的基本情绪有：悲伤、喜悦、恐惧、愤怒等，通常这些情绪能够通过自主神经系统的活动而引起。
常见的复杂情绪有：爱、骄傲、内疚、失望等，通常这些情绪需要经由人类自主意识的评价和判断才能引起。
情绪依据程度不同而分类的学说认为，情绪之间不可明确地割裂开，只是在几条不同的轴上递增递减或两极化，那些基本情绪就是这些轴的两极，比如快乐与悲伤、信任与不信任等，而复杂情绪则是位于这些轴上不同位置的基本情感的综合，比如快乐和信任混合会形成爱等[10]。
2.6.2情绪模型 对于离散的情绪，普拉切克（Plutchik）[10]提出了基本情绪集，即悲痛、恐惧、憎恨、警惕、狂怒、惊奇、接受、狂喜。
将其简化之后，一般认为基本情绪集为快乐、愤怒、恐惧和悲伤。
对于连续的情绪，目前常用的情绪模型是兰格（Lange）的二维情绪分类模型[11]，该模型将喜悦和悲伤这两种基本情绪作为纵轴的两极，而横轴则表示兴奋度，值越大就越兴奋，具体见图2-3所示。
兰格认为，所有的情绪都可以表示为在不同兴奋度下不同程度的喜悦或悲伤。
比如兴奋度较低时的悲伤情绪就是沮丧，而兴奋度较高的悲伤情绪就是愤怒或憎恨等等。
笔者认为，这里的悲伤和喜欢也可以理解为是负面和正面情绪的一种典型代表。
图2-3兰格二维情绪分类模型[12] 2.7情绪的诱发 情绪的诱发方法主要分为两大类，情绪性材料诱发和情绪性情境诱发[13]。
2.7.1情绪性材料诱发 诱发情绪的材料主要有视觉材料、听觉材料、嗅觉材料和这些材料的不同组合。
视觉、听觉和嗅觉几乎囊括了人类接受外界信息的渠道，但是，究竟采用哪种或是哪几种刺激材料来诱发情绪，不仅仅取决于情绪分类的要求，也有被试者本身因素的影响。
不同被试者对视觉、听觉和嗅觉刺激的敏感程度大不相同，这也会导致情绪诱发的效果不同。
2.7.2情绪性情境诱发 第6页共40页 基于脑电信号的情绪识别 情绪性情境诱发主要有两种方式，一种是通过让被试摆出与情绪相应的表情或姿势来诱发出该情感，比如通过让被试者摆出笑脸来诱发出他快乐的情绪等。
在詹姆士-兰格的理论基础上，这种做法是有一定依据的。
而另一种方式则是通过被试者自行回忆或想象情境来诱发出特定的情感，当被试者回想起自己类似情感的经历时，他极有可能会再次感觉到当时的情绪，通过这种方法，他的情绪就会被成功地诱发出来。
2.7.3本课题中使用的情绪诱发方式 笔者认为，由于每个被试者对于感官的敏感程度不尽相同，因此比起采用单一感官的刺激材料，视频片段作为集合视觉与听觉为一体的材料更能够诱发出被试者的情绪。
然而，如果被试者自己处于比较消极的状态，那么他对刺激材料的反应就不会很明显，因此，笔者将2.7.1与2.7.2中的方法结合，即在实验过程中，要求被试者在观看刺激材料的同时通过自己的回忆或想象尽可能激发出类似的情绪，从而使得被诱发出的情感能够更加强烈明显。
2.8情绪的识别方法 情绪的识别方法主要包括基于非生理信号的识别和基于生理信号的识别，非生理信号有面部表情、语音语调等，生理信号则有脑电、眼电、心电、皮肤阻抗等。
在日常生活中，面部表情和语音语调是我们表达情绪和感受他人情绪的最直观方式，比如人在高兴时会两颊上移、唇角上翘，同时语气显得轻快高亢；而愤怒时则会皱紧眉头、瞪大双眼，语调显得低沉凌厉等。
同时，采集非生理信号的仪器也相对简单，通过摄像头和录音设备就可以采集到面部表情和语音信号。
但是，非生理信号可以通过意识控制，因此，它也就可以被伪装，这种非本能的表现，自然会使得情绪识别非常困难。
相较于非生理信号，基于生理信号的情绪识别显得更为可靠。
研究表明，随着情绪状态的改变，人的脑电、眼电、心电、呼吸频率、皮肤阻抗等都会有较为明显的变化，而绝大多数人无法用自己的意识来控制生理信号，这就增加了它的真实性。
笔者在本课题中使用的脑电信号也是生理信号的一种。
不过，生理信号通常不太直观，也往往需要较为复杂的仪器来采集它的信号。
然而，无论是基于非生理信号的还是基于生理信号的情绪识别，它们之间的不同点主要是采集数据的方式和数据类型的不同。
对于后期这些数据的处理算法，目前大多是将反应情绪变化的特征提取出来后，通过机器学习构建情绪模型来实现情绪的识别和分类。
本课题也使用了这种思路，具体的算法见第四章的内容。
2.9本章小结 在本章中，主要介绍了大脑和情绪的理论知识，描述了大脑及大脑皮质的组成和结构、脑电的产生机制和采集方法、脑电的频段分类和特性，以及情绪的定义和产生原理、情绪的分类和情绪模型、情绪的诱发方式和情绪的识别方法等，完整详尽地阐述了基于脑电的情绪识别的生理基础。
第7页共40页 第三章实验 基于脑电信号的情绪识别 3.1实验目的 通过此实验，尽可能地激发被试者愉悦快乐和悲伤沉痛的情绪，从而采集获得被试者在这两种情绪状态下的脑电信号，作为此后研究基于脑电信号的情绪识别算法的素材和依据，为基于脑电信号的情绪识别的可行性做出事实佐证。
3.2刺激材料 通过查阅资料和对之前实验室成果的总结，笔者发现，情绪是一种比较模糊的概念，甚至连被试者自己也不能够很好地界定清楚自己的情绪状态，像诸如快乐与兴奋、悲伤与痛苦等较为近似的情绪，由于被试者不能给出明确的反馈，因此要通过脑电信号来识别相近的情绪是非常困难的，不仅结果不会理想而且在应用上也没有很高的价值。
在实际应用的层面，往往我们需要通过脑电信号来识别的情绪大多是鲜明而较大的分类，比如情绪的正面和负面、喜欢和厌恶、愉悦和悲伤、平静和兴奋等。
所以，笔者在本实验设计中，考虑将愉悦快乐和悲伤沉痛作为两大情绪分类来制作刺激材料，进行脑电信号的采集和识别。
根据资料查阅的结果和笔者自身的经验，笔者认为，在视频、音频、图片这三种刺激材料类别里，由于视频同时兼顾了音频和图片信息，甚至还包含有丰富的情节信息，因此最容易引起观看者在情感上的共鸣，使被试者产生身临其境的代入感，从而激发出被试者强烈的情绪。
所以，笔者在此实验中使用了12段视频片段作为刺激材料，其中，6段反映愉悦快乐、6段反映悲伤沉痛，互相间隔着播放，段与段之间有30秒左右的时间让被试者休息和调整情绪。
笔者在截取视频片段作为刺激材料的过程中，考虑到刺激材料应尽量快地激发被试的情绪，并使之保持这种情绪到视频结束，因此选择了电影的高潮片段，每段视频大约在4分钟左右。
又因为被试对该视频前后情节的了解对于情绪的刺激也有着一定的影响，所以选择使用非常经典的、耳熟能详的电影来制作刺激材料，比如《泰坦尼克号》、《辛德勒的名单》、《音乐之声》等。
同时，由于笔者并不会在实验过程中接受被试者的情感状态反馈，因此这些视频片段所反映的情绪必须没有歧义，为此，笔者事先对这四位被试进行了调查，确保这些电影片段能诱发出预期的情绪状态。
刺激材料毕竟只是起到情绪诱发的辅助作用，为了保证被试者的情绪被尽可能大地诱发，笔者会在一段视频材料播放之前告知被试者该视频所表现的情绪状态，并要求被试者通过刺激材料联想到自身关于愉悦或悲伤的经历来增强情感。
笔者认为，被试者自主调动出的情绪比被动地由刺激材料诱发出的情绪要来得更强烈更有效。
3.3被试情况 笔者一共选择了四名被试者，两男两女，年龄在22至24岁之间，被试者均为右手利者，健康状况良好，实验前睡眠状况良好，大脑和精神方面没有任何疾病和遗传病史。
被试者在实验过程中听力正常，视力正常，精神状况良好。
四名被试者均接受了两次实验，间隔为一周以上。
在实验之前，被试者均被告知了实验流程和相关的注意事项，并了解了该实验对人体无害。
第8页共40页 基于脑电信号的情绪识别 3.4实验环境 本次实验在实验室真车环境内进行，被试者戴着电极帽坐在真车驾驶座上，观看由车前大屏幕播放的视频，音频则由放在车后座的音响播放。
经笔者自己的体验和实验后被试者的反馈表示，真车环境内温度适中、光线适宜，大屏幕上播放的视频清晰度、车内音响的音量和音效都能够达到较好的标准。
同时，在半封闭的环境里做实验，不易受到周围不相关者的影响，被试者更容易集中精神诱发出情感。
实验环境如图3-1所示。
视频刺激材料 被试 电极帽 NeuroScan采集设备 图3-1情绪实验环境 本次实验的硬件平台如图3-2所示，主要由ESINeuroScan系统和两台计算机组成。
其中，NeuroScan系统主要由电极帽、EEG信号采集放大器以及在一台计算机上运行的Scan4.3软件组成，被试者的脑电信号由电极帽实时采集到后，经过放大器放大，最终通过Scan4.3软件在该计算机上显示和存储下来。
而另外一台计算机则连接着车前大屏幕及车内音响设备，仅仅用于播放刺激材料和相关的注意事项提示画面。
第9页共40页 基于脑电信号的情绪识别 图3-2情绪实验硬件平台 3.5实验过程
（1）要求被试者首先填写基本信息表，内容包括姓名年龄以及健康状况和睡眠状况等基本情况等，同时要求被试者关闭手机等通信设备以免干扰脑电信号的采集。
然后，由笔者告知被试者实验内容、实验流程及实验注意事项；
（2）启动ESINeuroScan系统的电源和放大器，同时运行Scan4.3软件。
设置Scan4.3中脑电信号采集的参数，一共采集包括眼电信号在内的64导信号，采样频率为1000Hz。
（3）给被试者戴上脑电帽并注射脑电膏，先注射接地电极和参考电极来决定参考电位，再一一注射其他电极，包括四个外接的眼电电极，但不包括M1和M2电极，一边观察Scan4.3中各个电极的阻抗情况，通过注射使62个脑电电极（除M1和M2外），以及4个眼电电极均达到要求值。
图3-3和图3-4为Scan4.3中各个电极在注射脑电膏前后的阻抗值示意图。
（4）启动播放刺激材料的计算机、车前大屏幕和音响设备。
让被试坐到车内，播放测试视频，根据被试感受调整音量和画面效果。
（5）尝试采集被试者的脑电信号，并观察该信号是否存在异常，是否有导联之间的短路或是坏导之类的问题存在，针对问题进行设备的调整，并记录下这些信息，用于之后数据处理时的参考。
（6）再次提醒被试者要尽量释放自己的情绪并保持肩以上的静止不动。
然后开始刺激材料的播放，同时正式采集脑电信号。
在实验过程中观察采集到的信号以及被试状况，记录电极的状态和可能引起干扰的原因。
图3-5为刺激材料播放的流程。
（7）刺激材料播放完后，停止脑电信号的采集并保存好该段数据，然后依次关闭实验设备。
（8）完成实验后，替被试者拿下脑电帽，并帮其清洗残留的脑电膏，及时清洗脑电帽、针管和眼电电极，将其晾干放置妥当。
（9）在实验中，不可避免地会出现由设备、被试者、主试者、无关人员等引起的偶然误差，为了减少误差，增加训练和测试样本，提高情绪识别效果，体现实验数据和算法结论的普遍性，每个被试者都进行了两组实验，这两组实验在不同的时间段进行，间隔了一周以上。
第10页共40页 基于脑电信号的情绪识别 图3-3注射脑电膏前的阻抗值示意图 图3-4注射脑电膏后的阻抗值示意图 图3-5刺激材料播放流程图 3.6注意事项 由于笔者在此实验中使用电影片段作为刺激材料，因此通过事前的调查，更倾向于邀请热爱观看电影，对电影片段能够产生强烈情绪的被试者来参与实验，同时，这四位被试 第11页共40页 基于脑电信号的情绪识别 者性格都较为开朗、情绪丰富、思维活跃。
为了使实验结果具有普遍性，不受性别因素的影响，故而采用了1:1的男女比例进行被试者的挑选。
笔者认为，被试者实验当天应睡眠充足，同时在当天起床后到实验开始这段时间不能进行高强度的体力或脑力活动，否则会造成身体或大脑疲劳，影响情绪的诱发。
在对被试者调查之后，笔者发现，在早晨进行实验为最佳，因为被试者早晨的情绪一般较为轻松，容易集中精神，心无旁骛。
而晚上则不宜进行实验，因为经历了一天的学习工作，被试者即使不疲劳，也一般会有比较烦躁的心情，此时做实验容易走神，效果不佳。
3.7实验评价 笔者在每次实验之后都与被试者进行了交流，听取被试者对于刺激材料和实验情况的反馈。
所有被试者均表示，实验过程中能够集中精神，并无受到明显的干扰，同时可以通过每段刺激材料诱发出主试者要求的相应情绪，并不存在歧义。
但其中两名被试（一男一女）均表示，诱发出悲伤沉痛的情绪比诱发出愉悦快乐的情绪要容易些，且悲伤的情绪比愉悦的情绪更为鲜明强烈。
不过，总体而言，被试者的情绪能够按照笔者的预期被成功诱发，脑电信号的采集也并没有发生明显的问题和干扰，因此笔者认为，本次实验设计较为正确，实施的8次实验过程也没有明显的失误，所以这8组实验数据均有效，可以用于之后的分析处理和分类评测。
3.8本章小结 本章介绍了基于脑电信号的情绪识别的数据采集过程，即实验流程。
阐述了包括被试的选择、刺激材料的选取、实验环境、实验的硬件平台、实验的具体操作步骤、实验的注意事项等所有有关实验设计的内容。
同时结合被试和主试的感受，对实验做出了评价。
第12页共40页 第四章算法 基于脑电信号的情绪识别 4.1脑电信号的预处理 4.1.1去伪迹 脑电信号非常微弱，通常在几十微幅左右，一般用放大器采集到的脑电信号会包含着各种各样的其他信号，比如眼电、心电、肌电等，这些都属于伪迹信号，为了得到相对纯净的脑电信号，去伪迹是脑电预处理中最为重要的一步。
在本文2.4节中列举了与心理生理活动密切相关的脑电频段，可以看到，本课题中用到的脑电有效频率为1Hz至50Hz，而一般脑电的频率被认为在0.5Hz到100Hz左右，相较而言，肌电伪迹的频率要高得多，眼电伪迹的频率则较低，有1Hz以下的，但也会与脑电信号的频段有所重叠。
图4-1表示了纯净的脑电信号和几种典型的伪迹信号的对比。
图4-1纯净的脑电信号和其他伪迹信号的对比 除了在做实验采集信号时让被试者尽量减少肢体动作等来使得脑电信号更为纯净之外，目前较常用的去伪迹方法有以下几种：
（1）选择有效片段：根据伪迹不同的时频特征，将伪迹信号明显的片段截取，留下较为纯净的脑电信号片段。
然而，为了避免把较为重要的脑电信号剔除的情况，这种方法仅仅能去除一些非常明显的伪迹。
（2）滤波：由于脑电信号为低频信号，而肌电伪迹为高频信号，因此低通滤波可以在很大程度上将肌电伪迹去除。
也可以使用带通滤波，同时将肌电伪迹和部分眼电伪迹一起滤去。
通常会将0.5Hz到100Hz之内的信号留下作为脑电信号，也会根据实际情况中脑电的有效频段进行调整。
（3）小波变换[14]：小波变换可以将时域特征映射到频域中去，而且它的低频分辨率比傅里叶变换要高。
即使伪迹信号与脑电信号有频段重叠的现象，但是只要伪迹信号在频域上的变化趋势不同于脑电信号，那么就可以在小波变换后通过伪迹的频域特征找到它并将其去除。
第13页共40页 基于脑电信号的情绪识别 4.2特征提取 脑电信号的特征主要有时域特征、频域特征和时频特征三类。
（1）时域特征主要是研究随着时间的变化，脑电信号的电位变化情况，比如通过计算电位值的均值、方差、峰值、斜率等来获取特征。
目前将时域特征运用于脑电信号分析的经典方法是事件相关电位分析法[15]，该方法着重研究不同事件发生时脑电电位值的不同变化趋势。
（2）频域特征主要是研究信号在不同频段上的特征变化。
将脑电信号从时域映射到频域上后，根据现今脑科学已有的研究成果，取出Delta频段（1—4Hz）、Theta频段（4—8Hz）、Alpha频段（8—13Hz）、Beta频段（13—30Hz）和Gamma频段（30—50Hz）这五个和生理心理活动密切相关的频段，分别提取出诸如功率谱密度、微分熵等各频段的频域特征值。
（3）时频特征，是时域特征与频域特征的结合，将信号采集到的整个时段分割成一个个大小相同的时间窗，然后在这些时间窗内一一将时域特征映射到各个频段上去，这样一个时间窗就可以得到一组基于各个频段的频域特征值，而整个时间段上就会得到与窗口数相同的多组频域特征值，这些频域特征值随着时间变化、窗口滑动而变化，因此可以同时得到信号的频域信息和时域信息。
在本课题中，笔者为了获取频域特征随着时间的变化趋势，故而提取了脑电信号的时频特征用于之后的学习和分类。
4.2.1离散傅里叶变换和短时傅里叶变换 在本课题中，笔者运用了短时傅里叶变换以及汉宁窗函数来提取脑电信号的时频特征。
短时傅里叶变换可以看作是对一个特定大小的时间窗内的时域信号做类傅里叶变换，从而获得该时间窗对应的频域特征，由于脑电信号是采样获得的离散数据，因此这种类傅里叶变换是离散傅里叶变换和窗函数的结合。
离散傅里叶变换的定义如下： （4-1） 其中，xn是第n个离散点经过傅里叶变换后的值，Xk是第k个离散点的傅里叶振幅。
离散的短时傅里叶变换定义如下： （4-2） 其中，x[n]是输入的离散信号，w(t)是窗函数，在本课题中为汉宁窗（也可以选择高斯函数等作为窗函数），X(m,w)是x[n]w(t-τ)的傅里叶变换结果。
汉宁窗的定义如下：（4-3） 汉宁窗又称作升余弦窗，它通过移动谱窗，可以抵消高频信号的干扰，因此适用于处理非周期性的低频信号。
将（4-2）和（4-3）合并，即可得到窗函数为汉宁窗的离散短时傅里叶变换公式： （4-4） 第14页共40页 基于脑电信号的情绪识别 4.2.2功率谱密度和微分熵 功率谱密度定义了信号的功率随频率分布的规律，在物理学中，通常将波在特定频率的瞬时功率谱密度定义为其频率密度乘以相应系数的结果，实际上，功率谱密度更常用的是它的抽象定义，即该频率处信号数值的平方，它的量纲仍为每赫兹的功率大小。
由于采集到的原信号多为时域信号，如果要获得每频率对应的信号数值就必须先将时域信号映射到频域中去，然后才能计算功率谱密度。
因此，通常使用傅里叶变化的方法来计算功率谱密度。
在本课题中，笔者考虑提取的特征是基于Delta频段（1—4Hz）、Theta频段（4—8Hz）、Alpha频段（8—13Hz）、Beta频段（13—30Hz）和Gamma频段（30—50Hz）这五个频段而言的，因此要考虑的是离散点的平均功率谱密度，用如下公式计算： （4-5） 其中，FFTDATAi是指频域信号上第i个点对应的信号数值，由于该频域信号是由时域信号的傅里叶变换得到的，因而FFTDATAi是一个复数，此处通过求其模的平方来获得该频率的功率谱密度，又有EndNum是一个频段的结束点位置，StartNum是该频段开始点位置，将该频段所有点的功率谱密度求平均后，即得到了该频段的平均功率谱密度。
笔者在本课题中选取的基本特征就是每一导信号的微分熵(DifferentialEntropy)，简称为DE，它的计算公式如下： （4-6） 4.3特征平滑 4.3.1滑动平均 滑动平均是一种简单有效的平滑算法，对于在一定区间内连续而变化平缓的信号使用滑动平均算法，可以去除大量毛刺噪声，获得清楚直观的信号变化趋势。
滑动平均的基本原理如下所示。
假设一段信号共有n个采样点，记作{x1,x2,x3,……,xn}，以m为窗口大小做不加权的滑动平均（m
4.3.2线性动力系统 线性动力系统是一个用于数据除噪和平滑的模型[16]。
如果我们测量获得的信号数据因为各种原因而含有很明显的噪声，即信号中含有一个噪声变量
Z，假设我们运用了一系列方法来估计Z的值，且最终得到Z的估计值为
X，那么我们认为如果Z在信号测量过程中不变的话，Z=X是一个较好的估计。
然而，如果噪声变量Z在每个测量点都在进行带有随机因素的变化，那么对于每个数据点中的Z1，Z2，……Zn，我们就可以通过一系列方法得到估计的X值，即X1，X2，……，Xn，但是如果认为此处Zn的估计就是Xn的话，则会因为随机噪声而很不准确。
因此可以考虑使用加权平均的方法来计算，如果Z的值变化缓慢，而随机噪声又比较大，那么Zn的值就必须依靠较多X值的平均来获得；若Z的变化很迅速而随机噪声比较少，那么就可以用较少的X来估计Zn的值。
然而，每一项
X 第15页共40页 基于脑电信号的情绪识别 的权重不能靠人工决定，所以就必须定义一个概率模型，运用学习和训练的方法来获得噪声随时间和测量过程变化的规律，线性动力系统就是这样一个模型。
线性动力系统是一个线性的高斯模型，它所有的变量，包括它的所有边缘条件和联合分布都符合高斯分布。
因此，它的过渡分布和发射分布有如下的一般表达： （4-8） （4-9） 线性动力系统最初的隐含变量也符合高斯分布，可以写作： （4-10） 以上模型的表述属于高斯分布的简化形式。
传统上，我们会把它们写成等效的噪声线性
方程组： （4-11） 其中，噪声项符合分布 （4-12） 线性动力系统模型的参数，记作θ={
A,Γ,
C,Σ,μ
0,V0}，我们能够通过期望最大化(Expectation-maximization)算法，使用最大似然确定这些参数的值[17]，也就是说，在使用线性动力系统前，必须先将一部分数据作为训练数据，进行模型学习，从而确定θ参数集的取值，然后将这些参数代入线性动力系统模型，对所有数据进行平滑和除噪。
4.4情绪模式的学习和分类 4.4.1支持向量机 4.4.1.1概述机器学习分为无监督学习和监督学习两类。
其中，无监督学习设计的分类器是用于处理未被分类标记的样本集的，我们并不告诉计算机这些样本的分类情况，而是让它自己去处理分类。
监督学习则是利用一组已知类别的样本集调整分类器的参数，使其达到所要求性能的过程。
监督学习在给予计算机学习样本的同时，还告诉计算机各个样本所属的类别，计算机通过对模型参数的调整，获得分类的规律。
支持向量机（SVM）以及其相关的学习算法和识别模式作为常用的监督学习模型被广泛应用于分类和回归任务中。
最基本的支持向量机是一个非概率的二进制线性分类器，在SVM训练时，必须输入一系列训练样本和它们各自的类别标注（仅两类），这样可以获得一个SVM的模型，在SVM预测时，将待分类数据输入该模型，则会输出相应的分类标注。
因此，SVM模型其实是各个样本映射到空间中所在位置的一种表示形式，它构建了由一个超平面或一系列超平面组合而成的空间。
在该空间内，有一条明确的线或一个明确的超平面，代表样本的点分别分布在这条线或平面的两侧，一侧即为一个类别，当有新的预测样本输入时，它们也会随之映射到这个样本空间内，然后通过这些点所在的区域就可以获得它们的分类情况了。
然而，在一些应用中，那些样本可能被映射到了一个有限维的空间中去，而这个空间往往是线性不可分的， 第16页共40页 基于脑电信号的情绪识别 此时，SVM通过使用了非线性的内核函数，使得它能够构建线性不可分情况下的相应模型。
4.4.1.2线性可分的支持向量机对于给定的含有n个数据点的训练数据集
D，有如下形式：（4-13） 其中，xi为p维训练数据点，yi为该训练数据点所属的类别标识，非-1即
1。
我们希望获得一个超平面来分隔yi=-1和yi=1的点，并且与这两个点集边缘的距离和最大，这些边缘上的点，就是支持向量。
任何一个符合上述条件的超平面都可以写成一系列点x的集合，且x符合： （4-14） 此处的点表示点乘，w是该超平面的法向量，表示从原点沿着法向量到达超平面的 距离。
（4-15） 通过几何理论，我们可以发现上述两个超平面之间的距离是，所以要最大化这两个 超平面之间的距离，就是要最小化的值。
又因为这两个超平面之间不允许有点落进去，所以我们可以对任意训练数据点xi做出以下约束： （4-16） 综上所述，最终SVM分类器在训练时要做的是找到使所有xi符合上式图4-2是SVM分类器线性可分情况下的示意图。
的最小值。
图4-2SVM线性可分模型 4.4.2K最近邻 在模式识别中，K最近邻算法（KNN）是一个不依赖参数的方法，它在样本分类时是基于特征空间内最近的训练样本来进行的。
KNN是基于实例学习的算法，可以说是所有机器学习中最简单的算法之
一。
在KNN中，一个样本的分类是通过它各个临近点的投票来决定的，这个样本最终会被分给它的K个最近点中占据较大比例的那一类（K是一个正整数，一般较小）。
如果K=
1，则这个样本就会被直接分到它最近那个点所属的类中。
第17页共40页 基于脑电信号的情绪识别 相同的方法也可以用于回归中，一个样本点的属性值就是它K个最近点的属性值的平均。
如果给它的邻近点加上权重则会更有效，一般认为，越是邻近的点对该样本的影响就越大，因此权值也越大，通常的，若该样本点与某点的距离为
S，则该邻近点的权值即为1/S。
KNN算法的训练样本是一个含有多维特征空间的向量，每个训练样本都有一个类别标识。
所谓的训练过程其实仅仅是把这些含有特征信息的训练样本向量和他们的类别标识保存好而已。
在分类阶段，K是一个用户指定的常量，一系列含有特征信息的测试样本向量输入后，KNN算法则通过投票的原则进行分类。
同时，在KNN分类前，除了K值需要指定外，还有距离和投票方式两个参数需要指定。
其中，对于连续的特征变量，则多用欧几里得距离，若是离散的变量，那么海明距离也可以使用。
另一方面，完全基于“多数表决”的分类会使分类结果偏向于出现频率高的类，因此，在分类时也可以运用加权后的“投票”方式，这一点与回归时使用的加权方法类似。
图4-3是KNN算法的示例，在不加权投票的情况下，如果K=
3，则绿色的点会被判断为红色三角类，若K=
5，则会判断为蓝色方形。
图4-3KNN分类算法示意图 4.5特征降维 4.5.1主成分分析 在机器学习时，输入的一组特征值中一定会有一部分表示了相同的信息，这就是特征冗余，主成分分析（PCA）基于原特征组建立一组新的特征向量，这些特征之间互不相关，即把冗余度降到了最小，同时，排序越靠前的新特征被认为是含有原始信息量越多的特征，也称作主成分。
主成分分析是一种数学方法，它通过正交线性变换将一组可能相关的变量转变成另一组线性无关的变量，这些线性无关的变量就是原变量组的主成分。
这种变化有以下性质：主成分含有的变量数小于或等于原变量数；最大方差的数据的会被投影到第一个坐标上，称作第一主成分，而且第二主成分与第一主成分的协方差值为
0，以此类推，获得特征组在新空间中的坐标值。
假设输入分类器的样本有n个，且每个样本的特征数是p维，则输入分类器训练的是n*p维矩阵，其中，每行是一个样本，每列是一维特征，且样本数不能少于特征数，即n>p。
由于每维特征的量纲单位可能不同，因此直接互相比较它们的方差是没有意义的，必须先对各特征值进行标准化计算。
此处，假设X=(X1,X2,…,Xp)，X1=(x1,x2,…,xn)
T，且n*p维矩阵X是原特征矩阵标准化后的结果。
主成分分析法然后对标准化特征矩阵X做如下线性变换： 第18页共40页 基于脑电信号的情绪识别 （4-17） 其中，p*p维的μ矩阵称作相关系数矩阵，矩阵Z是特征矩阵X经过主成分分析后变换得到的新矩阵，Z1即称作第一主成分，Z2称作第二主成分，……，Zp称作第p主成分。
由上述主成分分析法的原理可得，Z1的方差是最大的，Z2其次，Zp最小，而且，Z2和Z1线性无关，即cov(Z1,Z2)=
0，Zp则与它之前p-1个向量均线性无关。
4.5.2最小冗余最大相关 MRMR算法尝试在一个特征集中选出一组最小冗余最大相关的特征。
在机器学习时，输入的一系列特征中彼此之间一定存在着相关和冗余，MRMR算法可以给这些特征排序，将最小冗余最大相关的特征排在第一位，以此类推。
所以，MRMR算法通常被应用于机器学习的特征选择、特征降维和特征除噪中。
过去在特征选择时往往只考虑选出相关度最高的一组特征，而MRMR算法则在这些特征彼此远离的前提下考虑它们之间的相关性，也就是说，这一组特征必须兼顾冗余度小和相关性高的条件[18]。
首先通过相关性度量获得相关性最高的特征作为第一选择特征，然后再进行冗余性度量，找到与第一相关特征冗余性较小，而相关性度量又较大的特征作为第二选择特征，以此类推，对特征进行排序。
选择一个有效合适的相关性度量和冗余性度量方法也是提高MRMR算法效果的关键。
4.6本章小结 脑电信号的处理步骤分为了预处理、特征提取、特征平滑、特征降维和学习分类这几个步骤，本章主要介绍了以上步骤对应的各种算法的原理，包括预处理采用的滤波方法、特征提取时采用的短时傅里叶变换和微分熵、特征平滑时采用的滑动平均和线性动力系统、特征降维时用到的主成分分析和最小冗余最大相关算法、学习分类时用到的支持向量机和K最近邻算法。
第19页共40页 基于脑电信号的情绪识别 第五章实验结果 通过在第三章中介绍的实验方法和步骤，笔者分别对四名被试，两名男性两名女性，各采集了两组数据，且这两次实验采集时间间隔一周以上，最终获得8组数据。
而后，笔者运用在第四章中介绍的算法对这些数据进行处理，具体步骤如下。
5.1数据预处理
（1）降采样处理：由于Scan软件采集的脑电数据是1000Hz的，数据量过于庞大会占用过多的存储空间和处理时间，这并没有必要，因此在原数据中每隔5个点再采样一次，即把1000Hz的脑电信号降为200Hz的脑电信号，用于之后的数据处理。
（2）坏导的处理：由于本次实验使用了64导脑电帽进行数据采集，而如此多的导联中偶尔会有1至2导出现问题，包括阻抗不能够达到采集的要求，或是采集过程中噪声非常大等，这样的导联就被认为是坏导。
然而，因为导联数直接决定了特征数，简单地去掉坏导的数据会导致特征数的不统
一，这对之后输入分类器带来了相当的不便，所以在本课题中，笔者采用了取坏导邻近的导联数据求平均的方法来估算出坏导的值。
由于脑电在邻近区域的数据变化并不大，而且62导的数据中本来就有很多信息的重叠和冗余，所以笔者认为这样处理坏导对最终的预测结果并不会有很大的影响。
（3）数据分割：在第三章中介绍过，每段刺激材料中间是有休息时间的，因此必须根据刺激材料的长短情况，分割脑电数据，将多余的部分去除。
（4）去伪迹：在第四章中笔者已经介绍过去伪迹的目的和一些去伪迹的方法。
在本课题中，笔者选择了滤波的方法来实现脑电预处理中的去伪迹，由于我们用到的有效频段是1Hz到50Hz左右，因此笔者采用了低通滤波，滤去了75Hz以上的数据（主要是肌电的干扰）。
此处采用的滤波仅仅是在预处理阶段的去伪迹，在之后的处理中仍会用到其他的去伪迹算法。
5.2特征提取 笔者主要提取了功率谱密度（PSD）以及它的对数微分熵（DE）随时间变化的规律作为脑电信号的特征。
关于PSD和DE的概念已在第五章中介绍过了，在此处将具体介绍特征提取的步骤和相关算法。
（1）短时傅里叶变换：由于采集到的脑电信号是时域上的信息，要得到功率谱密度就必须先获得脑电在频域上的信号，离散的傅里叶变换可以做到这一点。
然而，如果对一组数据在整个时域上的信号做傅里叶变换，那么仅能得到整段时间对应的一个频谱，这显然丢失了大量的信息，因为功率谱密度也会随着时间的变化而改变。
因此考虑将时域信息转换为时频信息，对每一组每一导信号做短时傅里叶变换，采用汉宁窗作为窗函数，并将窗口大小设为1秒，时域采样频率为200Hz，频域采样频率为512Hz。
如此一来，每1秒内的时域信息会做一个傅里叶变换转换到频域上去，又因为Delta频段（1—4Hz）、Theta频段（4—8Hz）、Alpha频段（8—13Hz）、Beta频段（13—30Hz）和Gamma频段（30—50Hz）这五个频段与生理心理活动关系密切，因此针对这些频段分别提取特征。
有如下公式： （5-1） 第20页共40页 基于脑电信号的情绪识别 （5-2） 其中 StartNum=频段起始频率/时域采样频率*频域采样频率； （5-3） EndNum=频段结束频率/时域采样频率*频域采样频率； （5-4） 这样，对于每一组数据，就提取到了62*5=310个PSD特征以及62*5=310个DE特征。
（2）左右脑的不对称性：研究表明，人类的复杂意识是由大脑诸多神经元同一时间产 生的不同突触信号而引起的。
在多数人类中，左脑和右脑掌管的功能不同，它们有各自独立 的意识和思维。
因此，目前有研究认为，人类的情感是由这种左右脑的不对称意识所引起的。
所以考虑提取左右脑不对称特征，即将左脑
27个导联的微分熵特征与右脑对称位置27个导 联的微分熵特征做差和商，最终获得了27*5=135个DASM特征和27*5=135个RASM 特征，其中： DASM=DE左–DE右 （5-5） RASM=DE左/DE右 （5-6） 27对电极位置见图5-1所示，用红点标记的是左边27个导联，用绿点标记的是右边的 27个导联，它们关于中线一一对称。
具体27对电极为Fp1-Fp2，AF3-AF4，F7-F8，F5-F6， F3-F4，F1-F2，FT7-FT8，FC5-FC6，FC3-FC4，FC1-FC2，T7-T8，C5-C6，C3-C4，C1-C2， TP7-TP8，CP5-CP6，CP3-CP4，CP1-CP2，P7-P8，P5-P6，P3-P4，P1-P2，PO7-PO8，PO5-PO6， PO3-PO4，CB1-CB2，O1-O2。
图
5-1左右脑27对对称电极位置图综上所述，最终每1秒的数据能够获得了310个PSD特征，310个DE特征，135个DASM特征，135个RASM特征，270个DASM&RASM。
具体见下表所示： 第21页共40页 特征名PSDDE DASMRASMDASM&RASM Delta6262272754 表5-1情绪特征数 Theta Alpha Beta 62 62 62 62 62 62 27 27 27 27 27 27 54 54 54 基于脑电信号的情绪识别 Gamma
6262272754 Total310310135135270 5.3特征平滑 人类的情感是一种连续而缓慢的变化过程，因此，笔者认为，理想的情绪特征应该是 平滑而变化趋势缓慢的，那些阶跃的变化或是毛刺的出现都是由于噪声引起的，为了去除 特征中的伪迹和与情绪识别无关的信息，提高之后的分类训练速度，笔者考虑对特征进行 平滑。
在本课题中，笔者采用了滑动平均（MA）和线性动力系统（LDS）进行了特征平滑， 这两种算法在第四章中有具体的介绍。
对所有频段的微分熵特征
310个分别进行平滑，并将每1秒的310维特征向量作为
一 个样本，一共输入2000个左右的样本进行线性SVM训练（本课题中笔者采用的SVM分类器均来自于LIBSVM[19]），用500个左右的样本进行测试。
最终得到未经过平滑、使用滑动 平均平滑和使用线性动力系统平滑后的不同结果，如表5-2和图5-2所示（数据量纲为%）： 表5-2每一组数据的特征平滑效果 第1组第2组第3组第4组第5组第6组第7组第8组 未平滑 68.3092.4563.1977.3455.7391.6764.4790.10 滑动平均71.9190.6364.2685.4275.5289.8470.8588.80 线性动力系统77.6688.0265.5377.6077.0890.8978.3094.27 识别准确率（%） 100908070605040302010 0第1组第2组第3组第4组第5组第6组第7组第8组组数 图5-2每一组数据的特征平滑效果 未平滑滑动平均线性动力系统 对比表5-2的三种情况，粗体标出的是该组分类效果最好的情况。
通过图5-2可以更清楚地看到，对于第2组和第6组，未平滑的分类效果比平滑后的要好，而这两组的另一特点就是它们的分类准确率都在90%以上，可以说是极高的。
所以，笔者认为，对于未平滑就分 第22页共40页 基于脑电信号的情绪识别 类准确率很高的数据来说，可能是数据本身的噪声伪迹并没有很大，因此原信号中含有的情绪信息比较纯粹。
然而，由于噪声不明显，所以在特征平滑时，因为去伪迹而提高分类效果的可能就显得微乎其微了，而且，特征平滑算法在求一定窗口内数据的平均或加权平均时，可能会丢失关键特征信息，这可能是平滑后准确率不升反降的原因。
而除去第2组和第6组来看的话，其余的6组数据中，平滑后的结果都会比未平滑的结果要好，特别是第1组、第5组和第7组，经过LDS平滑后会提高10%以上的准确率，这是一个可喜的结果。
一方面告诉我们在整体上，经过平滑的数据会比未经平滑的数据要含有更纯粹的情绪信息；另一方面，这三组数据未平滑时的准确率都低于70%，可以认为其中的伪迹噪声较多，而这些都被平滑处理去掉了，所以笔者得出结论：未平滑时分类效果越差的数据，平滑后能够提高的准确率就越大，反之，未平滑就效果较好的数据，平滑的作用并不大，甚至还可能因为去掉了某些特征信息而使准确率有略微的下降。
在证明了特征平滑是一种可取的办法之后，笔者又对两种特征平滑的方法进行了比较，可以看到，除了第2组和第4组中，滑动平均的效果要更好之外，其余的6组数据，都是线性动力系统的效果要好得多。
这个结论通过第四章中对这两种算法的理论描述也可以推测出来，因为此处的滑动平均就是单纯的取一个时间窗内所有点的平均值，而线性动力系统则是通过训练的方式获得一组噪声加权的参数后进行的加权平均，这显然比滑动平均的方法要更为准确可靠。
然而，线性动力系统的平滑效果也因此对参数的选择比较敏感，笔者在LDS平滑时输入的是固定的脑电信号平滑参数，并没有为每个被试再训练一个参数模型（这样在实际应用中也无法操作），由于每个被试的个性化因素，也可能是导致第2组和第4组数据中线性动力系统不如滑动平均的原因。
笔者更仔细地分析了每一组准确率的提高幅度，不难发现第3组中，虽然平滑后的效果会比未平滑的要好，但是却仅仅提高的2%，由于第三组未平滑时的识别准确率低于70%，属于分类效果较差的数据，这样看来就与之前笔者得出的分类效果和平滑效果之间关系的结论相悖。
但实际上不然，这组数据的结果完全是由SVM分类器的参数原因导致的。
由于笔者对每个被试采集了两组数据，因此，此处的第1组和第5组、第2组和第6组、第3组和第7组、第4组和第8组都是同一个被试的数据，因为同一个人的脑电信号的生理规律大致上是不变的，而且考虑到在现实应用中，每个被试都只能够有一个SVM的训练模型，因此对于以上同属一个被试的数据进行训练时，所用的参数都是一致的（这在之后的数据处理环节中也一样遵循）。
具体地说，是在第5、6、7、8组训练时，采用交叉验证的方法获得最优的参数值，然后在训练第1、2、3、4组时，就采用相应的参数进行分类。
为了尽量去除这些参数的影响，考虑将同一个被试的不同组数据结果进行平均，如表5-3和图5-3所示（量纲均为%）： 表5-3每一名被试的特征平滑效果 未平滑滑动平均线性动力系统 被试162.0273.7277.37 被试292.0690.2489.46 被试363.8367.5671.92 被试483.7287.1185.94 总平均75.4079.6681.17 之前有疑义的第3组是属于被试3的结果，现在再看被试3的平均结果，可以发现平滑后比未平滑时提高了8%的准确率，高于总平均的5.7%，符合之前的结论。
因此笔者认为，消除了一些参数影响后，可以发现所有数据都符合之前分析的结果，并没有异常的情况出现。
而且，因为总平均结果中，线性动力系统有一定的优势，因此之后所有需要平滑的数据，笔者将均采用线性动力系统算法来进行平滑处理。
第23页共40页 识别准确率（%） 基于脑电信号的情绪识别 100908070605040302010 0被试1被试2被试3被试4总平均 被试数 未平滑滑动平均线性动力系统 图5-3每一名被试的特征平滑效果 5.4学习分类 我们为每个样本标注类别，在其诸多特征信息中找到类别划分的规律，然后通过这些规律对未知类别的样本进行分类，这就是机器学习的过程。
5.4.1线性SVM分类 在本课题中，笔者提取了PSD、DE、DASM和RASM四种特征，又因为DASM与RASM的表现形式不同，因此考虑将DASM和RASM共同作为特征的情况，具体特征组见表5-1所示，这些特征之间明显含有很多的冗余信息，因为DASM和RASM是由DE计算而得的，而DE又是PSD的对数，而且每个频段的特征中含有的情绪信息又有所差别，所以考虑采用不同的特征组合来进行学习分类，假设这些特征均为线性可分，对比获得结论。
下表是用不同的特征组合来进行学习分类的结果（量纲为%），其中，每组的训练样本数为2000左右，测试样本数为500左右，采用SVM分类器、线性函数为核函数进行二分类，所有数据均经过LDS特征平滑。
组数1
2 特征名PSDDE DASMRASMDASM&RASM PSDDEDASMRASMDASM&RASM 表5-4不同特征组的线性SVM分类效果 Delta38.9445.3245.1144.2643.40 Theta50.4244.2644.2644.2633.83 Alpha44.2645.7444.2644.2644.26 Beta58.7260.8569.3644.2668.51 55.4754.6961.9758.3361.97 46.6142.4555.7358.3355.73 72.9288.0272.4068.7571.88 96.3596.6196.6196.6195.05 Gamma79.5775.3276.1774.6875.3295.8395.0586.9891.6790.10 Total64.4777.6676.1779.1576.3882.5588.0289.0692.7189.06 第24页共40页 组数345678 平均 特征名 PSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASMPSDDEDASMRASMDASM&RASM Delta53.6253.8361.2854.8966.1755.4741.9350.0055.4755.4754.1747.9258.3360.1559.6467.1754.1760.4261.4660.4247.4547.8747.2344.8952.3466.9363.5445.0555.4755.4754.9051.1653.6754.3756.86 Theta63.8365.9657.0254.9054.0459.1148.4457.5559.3859.9055.4753.3957.8150.2658.0863.8077.3455.4755.2155.4775.7466.1760.0057.8758.5167.1966.9355.7355.7355.4760.2758.1255.4554.4953.88 Alpha56.1760.2147.6647.2347.2364.3248.4445.5745.3153.9156.7755.4754.4355.4755.4794.2791.9385.1677.8685.4261.9154.8955.7455.7455.7457.5560.6877.6067.9781.7763.5263.1760.3557.8261.96 Beta60.6467.8762.9858.9467.2382.0389.8486.1985.9487.5062.7663.0256.5158.8557.0391.4196.6191.6791.6795.3158.3065.1173.2078.9476.1780.9990.8883.8580.2182.5573.9078.8577.5574.4378.67 基于脑电信号的情绪识别 续表5-
4 Gamma42.7647.0249.1548.3050.0059.6495.0591.4088.5491.4081.7784.3878.9186.2092.1991.4191.9397.1492.1893.2366.6075.5355.9655.9656.1774.7491.4194.2794.5394.2774.0481.9678.7579.0180.34 Total54.4765.5367.0262.9866.8175.0077.6068.7567.4567.1964.0677.0873.4474.2273.7087.5090.8991.4196.0991.4176.8178.3078.9472.7778.7281.2594.2777.6090.1078.3973.2681.1777.8079.4377.71 在上表中涉及到的特征组有每个频段的PSD62、DE62、DASM27、RASM27、DASM&RASM54，以及所有频段的PSD310、DE310、DASM135、RASM135和DASM&RASM270。
由于每组有30个分类结果，一共有8组数据，为了更直观地分析结果，将8组数据的平均结果作柱状图，如图5-4所示。
第25页共40页 识别准确率（%） 基于脑电信号的情绪识别 1009080706050403020100DeltaThetaAlphaBetaGammaTotal脑电频段 平均PSD平均DE平均DASM平均RASM平均DASM&RASM 图5-4不同特征组的线性SVM分类效果 采用控制变量的方法，对表5-4和图5-4中的识别效果进行分析，有以下结论：
（1）对于同一组数据PSD和DE的不同分类效果：PSD和DE的区别在于DE是PSD以2为底的对数，PSD的数量级很大，一般在106左右，因此在训练的时候很不易，对此采 用了归一化的方法，公式如下： 归一化值=（数据值-最小值）/（最大值-最小值） （5-7） 归一化后的数据全部在-1到1的范围之间，节省了存储空间和训练时间。
PSD和DE特征组的信息量是一样的，只是DE特征由于涉及到了对数的计算而会使其 拥有了一些与对数函数相似的性质。
分析表5-4中的PSD和DE分类结果，可以看到，除 了DE310的结果始终优于PSD310的结果之外，其它各个频段上DE62的结果和PSD62的 结果互有高低，并没有一个符合所有组数据的解释。
不过，从图5-4中总的平均值可以得到， 在低频的Delta和Theta频段，PSD62的效果要更好，而在高频的Beta和Gamma频段，明 显DE62的效果要更佳，而Alpha频段上，PSD62和DE62的分类效果差不多。
对于这一结 论，第4、5、7、8组数据能够符合，其他4组数据则各有些许的差别。
由于DE310的分类 准确率完全优于PSD310的分类准确率，因此在之后的研究中，均以DE作为脑电信号的特 征代表。
（2）对比不同组数据不同被试之间的分类效果：笔者将每组数据的DE310特征的分类 结果作为该组识别准确率的代表，则有各组对愉悦和悲伤两类情绪的识别率依次为77.66%、 88.02%、65.53%、77.60%、77.08%、90.89%、78.30%、94.27%，可以看到，每一组的识别准 确率有较大的差别，有90%以上的这种识别效果非常好的情况，也有70%左右的识别效果不 甚理想的情况。
由此可见，基于脑电信号的情绪识别，是一种对个性化很敏感的方法，对于 不同的被试，可能是因为被试生理状况的不同，也可能是因为被试对刺激材料感受的不同， 甚至可能因为被试的性格和思维方式的不同，都会是引起这种较大效果差异的原因。
由于存 在诸如第
2组的88.02%、第6组的90.89%和第8组的94.27%，而平均识别准确率为81.17%， 因此笔者认为本次实验采集脑电信号的方法是可行的，之前对数据的处理也是正确有效的。
在现实应用中，由于个性化的原因，我们可以为每个被试都训练一个模型，但也仅止于 此。
该被试的模型会被用来预测他之后再进行脑电采集而获得的所有数据。
在本课题中，由 第
26页共40页 基于脑电信号的情绪识别 于笔者对每个被试进行了两组数据的采集，并且间隔了一周以上，因此考虑将一组数据作为训练数据建立模型，而另一组作为测试数据，来验证这种应用的可行性，由于两次实验的参考电压不同，因此这两组数据必须归一化，归一化公式见（5-7）。
表5-5和图5-5为一组训练一组测试的分类效果（量纲为%），其中，特征组选择DE310，使用LDS平滑，线性SVM训练。
表5-5每名被试一组训练一组测试的分类效果 第一组第二组第一组训练第二组测试第二组训练第一组测试 平均 被试177.6677.0855.06 58.0756.57 被试288.0290.8981.20 78.4779.84 被试365.5378.3069.24 57.4063.32 被试477.6094.2777.97 76.3277.15 平均77.2085.1470.87 67.5769.22 识别准确率（%） 100 90 80 70 60 50 40 30 20 10 0被试1被试2被试3被试
4 平均 被试数 第一组单独训练测试第二组单独训练测试一组训练一组测试平均 图5-5每名被试一组训练一组测试的分类效果 对一组训练，一组测试的结果进行分析，主要看图5-5中的平均结果，可以得到，被试2和被试4的识别准确率在75%以上，笔者认为是比较好的识别效果。
由于每次实验用的电极帽可能不同，电极帽戴的位置也一定会有差别，再加上人本身状态的不同，一组训练一组测试的识别准确率比单独每组的结果有所下降是很正常的，因此认为被试2和被试4在两次实验中均有效地被诱发出情绪、且数据采集过程中受外界环境影响较小。
再看被试3的平均结果，63%的识别率是不太好的，这主要是因为被试3在第一次实验中情感没有被很激烈地诱发出来，从而导致第一组数据和第二组数据在情感的激烈程度上有所差别，被试4其实也存在着相同的问题，可以看到，被试3和被试4第一组实验的准确率远远不如第二组实验， 第27页共40页 基于脑电信号的情绪识别 这也就导致了他们一组训练一组测试的结果比第二组单独地结果要差得多。
然而，被试1的情况又有所不同，他的识别准确率仅在56%左右，而被试1单独两组数 据的识别效果却都有77%，结果如此不理想且与其他被试的规律不符，这主要是因为被试1两次实验观看的刺激材料是不同的。
虽然笔者认为不同的刺激材料对于激发相同的感情是没有障碍的，但是，以负面的感情为例，悲伤、痛苦、沉重、恐惧，都可以算作是一类的情绪，不同的刺激材料可能在这些情绪的精确分类上有所区别。
再者，脑电信号不仅仅受到情绪的影响，还会受到实验外界环境和被试当时的思维、听觉、视觉等的干扰，因此，被试1的结果才会远远低于其他被试。
考虑改进的方法，对于情绪分类较大的情况而言，虽然是做二分类，但是对于每一类中的情绪应该更加细分，从而保证该大类中的样本包含了所有细分后的情绪，同时考虑同一情绪的不同程度，只有尽量收集到该类别所有可能情绪的脑电信号用于训练，才能够避免因为刺激材料不同而诱发出有细微不同情感的问题。
（3）对比同一组数据DE、DASM、RASM的不同分类效果：在章节5.2中提到了人类的情感是左右脑的不对称意识所引起的，因此才选择提取了DASM和RASM作为情绪特征，通过比较DE、DASM、RASM特征组的分类效果，可以验证这一说法。
表5-4中标粗体的数据就是该组该频段的DE、DASM、RASM中最高的分类准确率，先看8组平均下来的结果，虽然绝大多数还是DE的准确率高，但是DE的维数是DASM和RASM维数的2.3倍，因此DE的准确率高是正常的，然而DASM和RASM的准确率并不比DE低了多少，一般在5%左右。
反观每一组的数据，可以发现，每一组中各个频段的结果均是DE、DASM和RASM互有上下，虽然找不到明确的规律，但是这三类特征之间并没有很明显的优劣之分是肯定的。
所以笔者认为，一般来说，DE的分类结果要更稳定一些，从它的平均值普遍更高可以看出，然而，DASM和RASM中包含的情绪信息却也是可靠而足够的，相比之下，DE的稳定仅仅是因为它的维数较大的原因，但是它的冗余度也就会很高，DASM和RASM能够用比DE少得多的维数的同时也包含了其中大部分的信息，可见人类的情感是左右脑的不对称意识所引起的这一说法是有实际依据的。
（4）对比同一组数据DASM、RASM和DASM&RASM的不同分类效果：在
（3）中得到的结论表示DASM和RASM中均包含了足够且有效的情绪信息，而DASM和RASM虽然都是由左右对称电极的DE值计算得到的，但是它们的表现形式不同，因此可能对分类有着不同的影响，考虑将它们合起来作为一组特征，使用DASM&RASM参与训练，则每个频段的特征数为54个，整体有270维特征。
在表5-4中，首先比较同一组数据每个频段的DASM、RASM和DASM&RASM的结果，可以看到，每一组的DASM&RASM54都是介于DASM27和RASM27结果之间，或是高于它们的结果，同时低于它们的结果是很少见的，这一结论通过图5-4中的平均值能够更明显地得到，除了Theta频段，其它四个频段上，DASM&RASM54的结果均会高于DASM27和RASM27中较大的那个值。
笔者由此认为，在每个频段上，仅仅使用DASM27或RASM27会略显不足，而DASM&RASM54则能够包含更多地左右脑不对称信息，会获得更好的分类效果。
然后再分析所有频段上的DASM135、RASM135和DASM&RASM270的情况，可以看到，除了第4组数据，其它7组数据的DASM&RASM270的结果均介于DASM135和RASM135的结果之间，并没有大于它们的结果，而且在第4组中甚至略微小于它们的结果，平均数据也得到了与第4组相同的结论。
所以笔者认为，DASM135和RASM135特征维度已经比较高了，其中一定包含了一些冗余的信息，这就导致了DASM&RASM270不仅特征维度过高，而且数据冗余较大，从而影响了分类器的分类效果。
因此，对于全频段而言，用DASM135或RASM135来分类已经足够了。
（5）对比同一组数据不同频段特征的分类效果：在表5-4中用加粗斜体标出了每一组 第28页共40页 基于脑电信号的情绪识别 数据在五个频段中的最高识别准确率，其中，有5组数据都在Gamma频段上的准确率最高，其余3组数据则是在Beta频段上有较高的准确率，而图5-4中也能直观地看出平均值也是在Gamma频段上的准确率最高。
同样的，将频段中的最高准确率和所有频段联合作为特征获得的准确率作比较，可以发现，除了第一组数据之外，包括平均值在内，都是个别频段特征的最高准确率比较高，这在理论上也是符合的，因为Delta、Theta频段的准确率都远远低于Beta和Gamma频段的准确率，所以在全频段上，频率较小的两个频段上的无效特征甚至会给其它频段形成干扰，最终导致全频段上的结果反倒不如Gamma或者Beta频段的结果了。
参考在2.4中关于脑电频段特征的理论：Beta频段主要反映了人在日常清醒状态下的脑电波情况，会随着情绪的剧烈波动而有所变化；Gamma频段主要在人主观集中精神力注意某项事物、或是受到集中而强烈的感官刺激时会有明显的波动。
本次实验结果也基本符合该理论的说法，可见情绪特征大多数存在于较为高频的脑电信号中。
5.4.2K最近邻分类 之前所有的分类结果都是使用线性SVM分类器获得的，现在考虑采用K最近邻法（KNN）进行分类，取微分熵DE310维特征，经过LDS平滑后，用K=1的K最近邻算法进行分类，并与线性SVM的结果进行比较，结果如表5-6和图5-6所示（量纲为%）： SVMKNN 第1组77.6648.94 表5-6每一组数据SVM和KNN分类的结果对比第2组第3组第4组第5组第6组88.0265.5377.6077.0890.8972.4048.3062.5038.8090.89 第7组78.3055.74 第8组94.2783.07 识别准确率（%） 1009080706050SVM40KNN3020100第1组第2组第3组第4组第5组第6组第7组第8组组数 图5-6每一组数据SVM和KNN分类的结果对比 同特征平滑情况一样的，笔者将同一名被试的两组数据做平均来减少SVM训练参数的影响，见表5-7和图5-7（量纲为%）： 第29页共40页 SVMKNN 基于脑电信号的情绪识别 表5-7每一名被试SVM和KNN分类的结果对比 被试
1 被试
2 被试
3 被试
4 77.37 89.46 71.92 85.94 55.72 81.65 52.02 72.79 总平均
81.1765.55 识别准确率（%） 100 90 80 70 60 50SVM 40KNN 30 20 10 0被试
1 被试
2 被试3被试数 被试
4 总平均 图5-7每一名被试SVM和KNN分类的结果对比 在图5-6和图5-7中都能够直观地看到，SVM分类的结果要远高于KNN的结果，平均高了15%左右。
关于线性SVM和KNN算法的理论均在第五章中有所介绍，SVM采用了比KNN要复杂得多的模型，而KNN仅仅用最近邻的投票方法，明显不能够在脑电信号这种特征众多而规律复杂的情况中使用。
5.5特征降维 在本课题中，由于DE是由PSD作对数运算获得的，因此认为DE和PSD的冗余度很高，又因为DE的效果在整体上比PSD要好，所以选择DE310作为DE和PSD特征的代表。
所以在本课题中，笔者将DE310、DASM135和RASM135一共580维特征作为有效特征，但事实上，这些特征之间有很多重复冗余的信息，也有一些与情绪识别的关联并不大，这些无关和冗余的特征不仅影响了学习分类的速度，同样会对分类结果产生一定的干扰，使准确率有所下降。
所以，笔者在此处使用了主成分分析（PCA）和最小冗余最大相关（MRMR）两种算法，对这580导的数据进行降维。
主成分分析和最小冗余最大相关算法在第五章中有具体的介绍。
笔者采用了LDS平滑后的数据，线性SVM分类器，分别通过PCA和MRMR[20]从580维开始，步长为25进行特征降维，由于每组有48个数据，总数据量非常大，而且同一个被试的两组数据也会受到SVM参数的影响，因此对每个被试的两组结果求平均，得到表5-8（量纲为%）。
第30页共40页 被维数试PCA1MRMR 维数 PCAMRMR被维数试PCA2MRMR维数 PCAMRMR被维数试PCA3MRMR维数 PCAMRMR被维数试PCA4MRMR维数 PCAMRMR平维数均PCAMRMR维数 PCAMRMR 5 56.780.95 305 78.8172.54 5 92.1994.01 305 94.0196.09 5 41.2879.68 305 70.6473.41 5 84.3886.33 305 85.0389.71 5 68.6385.24 305 82.1282.94 30 70.1888.16 330 78.9772.38 30 96.6194.01 330 94.0195.44 30 66.2880.96 330 70.6474.04 30 85.0386.33 330 85.0388.80 30 79.5287.36 330 82.1682.67 表5-8PCA和MRMR特征降维后的分类结果5580105130155180 66.2876.5576.4976.1775.5678.6577.6179.1967.3773.2473.3470.80 355380405430455480 79.279.3379.279.3379.0779.0774.8074.5173.4179.5177.1979.99 5580105130155180 94.0194.0194.0194.0194.0194.0196.6196.6193.3694.0193.3693.49 355380405430455480 94.0194.0194.0194.0194.0194.0196.0996.3596.4896.4896.3595.83 5580105130155180 71.8171.4970.5370.8570.9570.7575.7581.0681.4981.1779.6880.64 355380405430455480 70.6470.6470.6470.6470.7570.7569.6872.0273.8370.5370.9670.64 5580105130155180 84.9085.0385.0385.0385.0385.0389.5989.8589.9890.1189.4689.19 355380405430455480 85.0385.0385.0385.0385.0385.0389.0688.1587.6387.3787.1186.72 5580105130155180 79.2581.7781.5281.5181.3982.1184.8986.6883.0584.6383.9683.53 355380405430455480 82.2282.2582.2282.2582.2182.2182.4182.7682.8483.4782.9083.29 基于脑电信号的情绪识别 205 77.8076.16 505 79.0779.20 205 94.0194.79 505 94.0195.83 205 70.7571.38 505 70.7571.17 205 85.0389.06 505 85.0386.59 205 81.9082.85 505 82.2183.20 230 78.4573.80 530 79.0779.52 230 94.0194.92 530 94.0194.92 230 70.7575.74 530 70.7571.07 230 85.0389.58 530 85.0386.72 230 82.0683.51 530 82.2183.06 255 79.0775.17 555 79.0778.43 255 94.0195.44 555 94.0194.01 255 70.6478.61 555 70.7570.64 255 85.0388.93 555 85.0386.85 255 82.1984.54 555 82.2182.48 280 78.8476.05 580 79.0779.07 280 94.0196.35 580 94.0194.01 280 70.6476.17 580 70.7570.75 280 85.0389.58 580 85.0385.03 280 82.1384.54 580 82.2182.21 为了更直观地看出用PCA和MRMR进行特征降维的效果，对于每个被试的数据作图，见图5-8至图5-12。
第31页共40页 识别准确率（%） 95908580757065605550
5 被试
1 基于脑电信号的情绪识别 MRMRPCA 55105155205255305355405455505555特征维度 图5-8被试1PCA和MRMR降维效果 100999897969594939291905 被试2 55105155205255305355405455505555特征维度 图5-9被试2PCA和MRMR降维效果 MRMRPCA 识别准确率（%） 第32页共40页 识别准确率（%） 908580757065605550454035
5 被试
3 基于脑电信号的情绪识别 MRMRPCA 55105155205255305355405455505555特征维度 图5-10被试3PCA和MRMR降维效果 9492908886848280
5 被试4 55105155205255305355405455505555特征维度 图5-11被试4PCA和MRMR降维效果 MRMRPCA 识别准确率（%） 第33页共40页 识别准确率（%） 9590858075706560
5 平均 基于脑电信号的情绪识别 MRMRPCA 55105155205255305355405455505555特征维度 图5-12四名被试平均PCA和MRMR降维效果 首先，单独地看PCA降维后的情况，所有被试在PCA从580维开始降到80维的过程中，识别准确率几乎不变，或仅仅有微小的下降；除被试4外，在PCA从80维降到5维的过程中，会突然有一个大幅度的下降；而只有被试2在PCA降维过程中，有过明显的准确率提升，但这可能仅仅是个别的巧合，并没有代表性。
如果认为图5-6中PCA降维的平均识别准确率是有代表性的话，那么足以说明采用PCA进行脑电数据的降维虽然可以保证在100维以上的识别效果不变差，但也仅仅只有节省训练时间和存储空间的作用，PCA降维并不能够通过减少冗余和无用特征来提升识别的准确率，并且，当特征维度降到100维以下后，往往会因为不能够包含足够多的特征信息，使得识别准确率有很大的下降。
PCA之所以不能够有很好的效果，笔者认为其中可能因为PCA是通过方差最大和特征之间的线性无关等性质将原特征映射到了新的空间中，实际上就是通过线性变换的方式组成一组全新的主成分向量，然而，这种提取原特征中互不相关的主成分组成新特征的方法毕竟是将特征值及其排列顺序等完全改变了，因此可能会因为彻底改变了特征空间而丢弃了隐含在特征排布中的重要关联信息，从而无法明显提升识别准确率。
然后，来单独分析以下MRMR的情况，MRMR随着维度下降而变化的幅度要比PCA大得多，而MRMR的降维效果也更因人而异。
像被试
1，一开始识别准确率随着MRMR降维而逐渐降低，然后在降至105维以下后又突然快速地上升；而被试2的准确率则一直在起伏，随着MRMR从580降到450维左右时，准确率都在上升，而之后从450维到105维的过程中，准确率又一直下降，在105维到55维中有一个急速的上升之后，准确率又随之下降了；对于被试3和被试
4，则是在MRMR从580维降到80维的过程中，除了偶有几点有微弱的下降之外，识别准确率的趋势一直是呈上升状态的。
如果撇开这其中的个性化因素不说，四名被试的MRMR降维结果还是有很多共同规律的，一是MRMR的降维过程中一定会得到比580维识别准确率要明显提高的效果，而最高准确率对应的维度通常在100维以下，像被试1出现在30维，而其余三名被试均出现在80维处，可见只要80维就会包含580维中所有的有效信息了，再加上去掉了很多无用特征和伪迹，准确率的提高也是理所当然的；二是每名被试在MRMR降维到5维的时候，识别准确率都还是大于等于580维的识别准确率的，由此可见通过MRMR获得的前5维最小冗余最大相关的特征就足以包含580维特征 第34页共40页 基于脑电信号的情绪识别 中大部分的有效信息了。
比较PCA和MRMR降维的结果，可以在图中直观地看到，虽然在降维过程中，有些 被试的MRMR的准确率会低于PCA的准确率，但是总体而言，MRMR对于有效特征的选择还是明显优于PCA的，PCA通常不能够获得比580维的准确率更高的效果，而MRMR降维时，准确率一定会有明显的上升，特别是在100维至5维的情况中，MRMR可以保证不低于580维的准确率，通常有明显的上升，但是PCA的结果一定会低于580维的准确率，通常会急剧下降。
而且，MRMR并不改变特征空间，它仅仅是将特征按照最小冗余最大相关性的原则重新排序了一下，因此并不会像PCA那样有丢失部分信息的可能，又可以直接看到贡献率大的特征是哪些，所以，关于情绪识别的脑电特征选择，笔者倾向于使用MRMR。
5.6本章小结 本章介绍了数据处理过程和得到的结果分析，通过本课题的研究，笔者认为基于脑电的情绪识别是可行的，微分熵作为脑电信号的特征能够较好地表现出情绪信息，而DASM和RASM的效果则验证了情绪来源于左右脑的不对称性的理论，脑电信号中的情绪信息主要集中在高频Beta和Gamma频段中。
在特征提取之后，对特征进行平滑和降维能够提高识别的效果，其中，特征平滑时采用线性动力系统会比较好，而特征降维时则应使用最小冗余最大相关算法进行。
第35页共40页 基于脑电信号的情绪识别 第六章结论与展望 情绪这一课题与人类心理和生理都有着密切的关联，关于情绪的研究至今仍有很多不明确的地方。
而在本课题中，笔者并没有过多关注情绪的产生机制和生理基础，而是使用了脑电信号来对情绪的愉悦快乐和悲伤沉痛这两种状态进行识别，通过对脑电信号的有效处理和基于脑电信号的情绪识别结果分析，得到了一些关于脑电和情绪识别方面的规律和结论。
在本课题中，笔者对四名被试者（两名男性两名女性）分别做了两组实验，使用电影中的高潮片段作为刺激材料，同时伴有被试者自己的想象等方法诱发出了愉悦和悲伤两种情绪，一共获得了8组脑电数据。
在数据处理的过程中，笔者首先用低通滤波的方法对脑电信号进行了预处理，滤去了高频的肌电干扰；然后，笔者使用短时傅里叶变换将时域信号转换成时频信号，获得脑电信号在Delta、Theta、Alpha、Beta和Gamma五个频段上每一秒的微分熵特征，并且利用了大脑在产生情绪上的不对称性，又提取了DASM和RASM特征；由于情绪变化是一个平缓的过程，笔者随后用滑动平均和线性动力系统两种方法对特征进行了平滑；在获得了所有特征经由LDS平滑的数据后，笔者利用线性SVM分类器对不同的特征组合进行学习分类，同时将SVM分类的结果与KNN算法的结果进行了比较；最后，由于脑电信号的特征维度高达580导，为了减少冗余和无效特征，提高分类效率，笔者使用了PCA和MRMR两种特征降维方法进行了特征选择。
通过上述实验和数据处理过程以及第六章中详细介绍的数据处理结果，笔者在本课题中研究得到的结论概括如下（具体的结论与数据对照见第六章）：
（1）基于脑电信号的情绪识别，是一种对个性化很敏感的方法，对于不同的被试，他们的生理心理状况的不同，对刺激材料感受的不同等，都会引起较大的效果差异。
本课题中8组实验的平均识别准确率为81.17%，因此笔者基于脑电信号的情绪识别是可行的，而且本次实验采集脑电信号的方法和数据处理方法均是正确有效的。
（2）基于脑电信号的情绪识别对外界环境和实验设备较为敏感，对于同一个人的不同组实验，由于实验用脑电帽不同、脑电帽佩戴位置的细微差别、外界环境的改变等都会造成脑电信号的差异。
（3）特征平滑能够去除特征中的噪声，使数据中含有的情绪信息更为纯粹，因此经过特征平滑后的识别准确率会有相当大的提高，而且，未平滑时分类效果越差的数据，平滑后能够提高的准确率就越大。
特征平滑同时还可以大幅度减小训练和分类的时间。
而对于滑动平均和线性动力系统两种特征平滑算法，通过实验对比可得，线性动力系统要更为有效可靠。
（4）采用功率谱密度作为特征的分类结果虽然和采用微分熵作为特征的分类结果互有高低，但是，在Belta频段、Gamma频段和所有频段上，微分熵特征的分类效果会更好。
（5）虽然采用微分熵作为特征的分类结果要更稳定一些，然而，DASM和RASM中包含的情绪信息却也是可靠而足够的，由于DASM和RASM的维数远远小于微分熵的维数，因此人类的情感是左右脑的不对称意识所引起的这一说法是有实际依据的。
（6）在每个单独的频段上，DASM和RASM联合的特征组DASM&RASM54的分类效果要比单独的DASM27和RASM27效果要好，但是在全频段上，DASM&RASM270的分类效果往往比DASM135和RASM135的效果要差一些。
（7）情绪特征大多数存在于较为高频的脑电信号中，因此采用Gamma频段特征的识 第36页共40页 基于脑电信号的情绪识别 别准确率最高，Beta频段其次，而Alpha、Theta和Delta频段的特征则无法正确识别出情绪。
（8）对于脑电信号的学习分类，SVM分类器的结果要远高于KNN的结果，由于SVM采用了比KNN要复杂得多的模型，而KNN算法过于简单，不适宜应用于规律复杂的脑电信号。
（9）PCA降维并不能够通过减少冗余和无用特征来提升识别的准确率，而且在维数低于一定值后，准确率会急剧下降，因此PCA仅有节省训练时间和存储空间的作用。
而MRMR则明显优于PCA，MRMR降维时，准确率一定会有明显的上升，特别是在低维的时候，MRMR可以保证大于等于高维时的准确率，这一点是PCA不能做到的。
通过本次研究，笔者得到了以上这些结论，不过，也仍然有很多不明确的地方，主要还是数据量不够，并不能够完全代表普遍的情况。
因此，下一步工作首先是要采集更多被试的数据。
同时，本课题中采用的算法也有可以改进的地方，包括模型融合等，有待进一步的尝试。
情绪识别的应用是很广泛的，但是基于脑电信号的情绪识别还处于实验室研究状态。
在更长远的未来，我们可以考虑把脑电信号、眼电信号、视频信号等结合起来，实现更准确的情绪识别。
同时，也可以把基于脑电信号的情绪识别应用于其他相关的领域中去，比如疲劳驾驶检测系统等，来实现其实际应用的价值。
第37页共40页 基于脑电信号的情绪识别 参考文献 [1]BartelsG,ShiLC,LuBL.AutomaticartifactremovalfromEEG-amixedapproachbasedondoubleblindsourceseparationandsupportvectormachine[C]//EngineeringinMedicineandBiologySociety(EMBC),2010AnnualInternationalConferenceoftheIEEE.IEEE,2010:5383-5386. [2]罗跃嘉,黄宇霞,李新影,等.情绪对认知加工的影响:事件相关脑电位系列研究[J].心理科学进展,2006,14
(4):505-510. [3]NieD,WangXW,ShiLC,etal.EEG-basedemotionrecognitionduringwatchingmovies[C]//NeuralEngineering(NER),20115thInternationalIEEE/EMBSConferenceon.IEEE,2011:667-670. [4]伍国锋,张文渊.脑电波产生的神经生理机制[J].临床脑电学杂志,2000,9
(3):188-190. [5]杨若晓.语音乐律研究报告[D].北京大学，2008[6]KisleyMA,CornwellZM.Gammaandbetaneuralactivityevokedduringasensory gatingparadigm:effectsofauditory,somatosensoryandcross-modalstimulation[J].Clinicalneurophysiology,2006,117(11):2549-2563.[7]孙卉.对于情绪定义的再探讨[J].社会心理科学,2010(009):39-42.[8]JamesW.II.—WHATISANEMOTION?
[J].Mind,1884(34):188-205.[9]EkmanP.Moods,emotions,andtraits[J].Thenatureofemotion:Fundamentalquestions,1994:56-58.[10]PlutchikR.TheNatureofEmotionsHumanemotionshavedeepevolutionaryroots,afactthatmayexplainplexityandprovidetoolsforclinicalpractice[J].AmericanScientist,2001,89
(4):344-350.[11]LangPJ,BradleyMM,CuthbertBN.Internationalaffectivepicturesystem(IAPS):Instructionmanualandaffectiveratings[J].TheCenterforResearchinPsychophysiology,UniversityofFlorida,1999.[12]聂聃，王晓韡，段若男，吕宝粮.基于脑电的情绪识别研究综述[J].中国生物医学工程学报，2012,31
(4):595-606.[13]郑璞,刘聪慧,俞国良.情绪诱发方法述评[J].心理科学进展,2012,20
(1):45-55.[14]周卫东,贾磊.小波变换和独立分量分析去除脑电信号中的噪声和干扰[J].山东大学学报(医学版),2003,41
(2):116-119.[15]魏景汉,罗跃嘉.认知事件相关脑电位教程[M].经济日报出版社,2002.[16]BishopCM.Patternrecognitionandmachinelearning[M].NewYork:springer,2006.[17]ShiLC,LuBL.Off-lineandon-linevigilanceestimationbasedonlineardynamicalsystemandmanifoldlearning[C]//EngineeringinMedicineandBiologySociety(EMBC),2010AnnualInternationalConferenceoftheIEEE.IEEE,2010:6587-6590. 第38页共40页 基于脑电信号的情绪识别 [18]曹静.基于最大相关最小冗余的特征选择算法研究[D].燕山大学,2010.[19]ChangCC,LinCJ.LIBSVM:alibraryforsupportvectormachines[J].ACM TransactionsonIntelligentSystemsandTechnology(TIST),2011,2
(3):27.[20]PengH,LongF,DingC.Featureselectionbasedonmutualinformationcriteria ofmax-dependency,max-relevance,andmin-redundancy[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2005,27
(8):1226-1238. 第39页共40页 基于脑电信号的情绪识别 谢辞 感谢吕宝粮老师在实验设计和撰写论文过程中的悉心指导，并在我毕业设计遇到问题时提供了许多宝贵的意见和建议。
同时，吕老师严谨的治学研究态度影响了我，让我在做毕业设计的期间也逐渐养成了一些良好的研究习惯。
再次感谢吕老师对于我毕业设计的指导和帮助。
感谢段若男学姐和王晓韡学长在我做实验和数据处理过程中给予的帮助和指导，教会了我使用脑电信号的采集设备，并指出了我在实验设计和数据处理算法中的不足，同时指导我如何进行改进。
感谢李凡学长在实验室给与我硬件上的支持，感谢实验室的每一位同学维护了如此优秀的实验环境和实验氛围，让我能够顺利完成数据的采集工作。
感谢每一位志愿作为被试者的同学，提供了宝贵的实验数据。
感谢学院和系为我提供了如此优秀的研究环境和实验器材。
第40页共40页 基于脑电信号的情绪识别 EEG-BASEDEMOTIONRECOGNITION
1.Introduction Emotionisbinationofhumanconsciousnessandbehaviorperformance.Itlargelyreflectshuman’sperceptionofthingsandattitudes.Indailylife,moodexistseverywhere,especiallyininterpersonalrelationships,anditcannotbeignored.Similarly,intheseniormanmachineinteractionsystems,puter-basedemotionrecognitiontechnologyhasplayedaverycrucialrole.
声明：
该资讯来自于互联网网友发布，如有侵犯您的权益请联系我们。