主页 | 中文 | English

实验方法

一个基于情绪调节的词汇阅读模型——模型的提出、检验和反思

时间 2014-07-04 00:33:20
彭聃龄 (2013-08-10 16:42:49)
   

近年来北京晨报开辟了一个“人文悦读”专栏,聘请了一些学者介绍国内新近出版的一些名篇、名著。编辑部使用“悦读”,而不是“阅读”,我想是有其用意的。所谓“悦读”应该就是指愉快的阅读。这里可能有两层意思,一层意思是指带着愉快的心情去阅读,另一层意思就是,阅读可能给人们带来愉快和欢乐。无论是哪层意思,“悦读”都说明了情绪在阅读中的作用。

2006年10月我们在中国《科学通报》上发表了一篇论文,题目是“一个基于情绪调节的词汇阅读模型”。由于这个模型强调词汇形、音、义加工的交互作用以及情绪、注意和语言的交互作用,因此我们也称它为“词汇阅读的多维交互作用模型”。

模型是怎样产生的?阅读是人们从文字中提取信息的过程,也是人类获取知识的重要途径。各行各业的人们都需要阅读,很多人每天阅读的时间占到工作时间的1/4 - 1/3以上。小学儿童每天要用1/3-1/2的时间学习阅读。英国著名哲学家培根说过:“读史使人明智;读诗使人聪慧;哲理使人深刻;伦理学使人有修养;逻辑修辞使人善辩”。可见阅读不仅能增进人的智慧,而且有益于人格的塑造和发展。我国唐代著名文人韩愈也说过“一日不读书,则饮食难进、寝寐难安;两日不读书,则面黄肌瘦、言语无味;三日不读书,则双眸无神、面目可憎;四日不读书则魂灵出窍、行尸走肉者也”。阅读是受过教育的人每天都不能离开的一种活动,对人的健康、保持良好的精神状态也有重要的作用。

由于阅读在人类生活中的巨大作用,它一直是认知科学和神经科学研究的重要问题之一,学术界提出过许许多多的阅读模型,包括认知模型和脑模型。这些模型描述了阅读过程中形、音、义信息加工的作用和相互关系,以及这些活动的内在神经机制或脑机制。其中最有名的是近年来在学术界盛传的阅读的双通路模型。该模型假定,阅读存在两条重要的神经通路,一条是腹侧通路,主要是左侧梭状回,经过颞中回,最后到达内侧额下回;另一条是背侧通路,它始于梭状回,经颞上回,到达背侧额叶。前一条通路与字形和语义加工有关,后一条通路与语音加工有关。模型总结了前人关于阅读的大量研究,又能有效地指导阅读研究的进一步发展。但是在这些模型中,阅读只是一种纯粹的认知活动,它所涉及的神经网络也只局限在语言的神经网络之内。因此我们把这些模型称为阅读过程的“纯认知”模型,或“冷认知”模型。在这些模型中,既没有看到情绪对阅读过程的影响,也没有看到语言与情绪、注意的交互作用。

早在20世纪80年代,在心理学领域中,出现了一种重要的研究趋势,即重新评价情绪在认知中的作用。1988年,我和北京大学心理系孟昭兰老师、华东师范大学杨治良老师、杭州师范大学刘爱伦老师共同出席了在美国东部麻省州的克拉克大学召开的情绪研究国际会议,在这个问题上给我留下了深刻的印象。在这个会上,情绪作为认知“副现象”的看法,受到学术界的批评;一种新的观点,即情绪是人的心理活动的动力机制的观点开始凸现出来。可以说,从这个时候起,我就开始关注情绪对认知的影响和情绪在语言活动中的调节作用。

21世纪初,我开始了阅读的认知神经机制的研究。在一项研究中(2004),我们探讨了词汇情绪价对词汇阅读的调节作用。研究采用了重复启动的实验范式。实验材料是具有不同情绪价的情绪词,也就是具有积极、消极情绪色彩的情绪词和不带有情绪色彩的中性词。以往的研究发现,当一个词汇重复出现时,它在脑中引起的活动水平(或称激活水平)将随之下降,出现所谓的“适应效应”。我们的实验结果发现,不同情绪价的词汇在重复启动时,大脑的梭状回都出现了“适应效应”,但这种效应受到了情绪价的调节,即积极词的效应大于消极词。基于这一发现,我们提出了情绪对词汇加工具有调节作用的假设。

在上述研究中,我们采用了前后掩蔽的实验范式,也就是所谓的“三明治”的实验范式。在这种实验条件下,被试对词汇的识别和加工处于非注意的水平。正是在这种条件下,我们发现了情绪对词汇阅读的调节作用。在另一个实验中,我们没有采用掩蔽刺激,结果情绪的调节作用不显著。这说明,情绪对阅读的调节作用还受到了注意水平的影响,似乎只有在非注意的条件下,情绪的调节作用才表现得更加明显。

接下来,我们采用fMRI技术探讨了在非注意状态下,抑郁症患者与正常人对情绪词的大脑加工模式。实验采用后掩蔽范式,刺激呈现时积极词、消极词和中性词将被掩蔽,要求被试对掩蔽符号进行知觉判断。结果显示,相对于中性词来说,积极词没有引起抑郁症患者任何脑区的激活,而正常人则激活了右侧眶额、右侧前扣带回、右侧丘脑和双侧尾状核等多个与积极情绪加工相关的脑区;而消极词激活了抑郁症患者左侧壳核和左外侧苍白球两个皮下区域,正常人则激活了脑岛。这表明,抑郁症患者对积极信息的加工能力受到了损伤。这个结果再次提示,词汇的加工受到情绪和人格因素的调节。

在得到这些重要的发现之后,我们广泛涉猎了国际学术界关于这个问题的研究。这些研究包括:词汇情绪价(积极和消极)对词汇加工的影响、不同情绪状态(由音乐、影片、图片、面孔和身体姿势等诱发的情绪状态)下的词汇加工。基于这些研究,我们进行了理论上的思考,在词汇加工的网络之外,提出了调节网络的概念。与原有的模型相比,我们认为,词汇阅读不仅存在加工网络,而且存在调节网络,加工网络存在背侧和腹侧两条通路;而调节网络包括情绪调节和注意调节,以及两者的交互作用,由此形成了我们模型的基本框架。

在任何一个认知模型中,都会包含若干假设。20世纪90年代,我们围绕汉语字词识别,提出过汉字识别和命名的联结主义模型和基于语义的词汇识别模型。这些模型都提出过汉字和汉语词汇的表征假设、加工假设和学习假设。正是基于这些假设,模型有效地模拟了汉字命名、汉语词汇识别的一系列效应,如频率效应、形声字读音的规则性效应、词汇识别中的启动效应和语境在词汇识别中作用等等。

在新的模型中,我们提出了4个基本假设:(1)优势激活区假设:词汇的形、音、义信息都可以激活与词汇识别相关的一个神经网络,在不同任务中起优势作用的脑区不一样;(2)情绪调节假设:词汇阅读受到情绪的调节,在不同情绪状态下,参与词汇加工的神经回路可能有区别;(2)注意水平假设:词汇阅读存在注意水平和自动化加工水平,在不同的注意水平上,词汇加工的神经回路和情绪的调节作用可能不同;(4)学习假设:字词阅读加工和调节的神经网络是通过学习、训练形成的。除了这几个基本假设外,以后我们还假定,无论是加工网络还是调节网络的损伤,都可能导致阅读的障碍。

提出模型只是理论建设的第一步,下一步的工作就是要通过新的实验,检验模型,并对模型进行不断地修改和调整。相对于模型的提出来说,检验和发展模型才是更重要、更艰巨的任务。基于这种想法,几年来我们进行了以下几方面的研究。这些研究从横向来说,可以分为情绪词的研究和情绪状态的研究;从纵向来说,包括研究了情绪的调节作用,情绪调节和注意的关系,以及情绪在词汇学习中的作用等。

(一)语言中蕴涵的情绪信息对语言加工的影响,主要关注词汇自身携带的情绪信息(词的情绪价)对词汇加工的调节作用。

1)验证了情绪义的存在及其与概念义加工的差异,发现了情绪义加工的特异性神经网络。我们的模型是基于情绪词的实验结果提出来的,但是在一个情绪词中,既存在词的概念义,也存在词的情绪义。因此人们在情绪词的阅读加工中,词的情绪义是否起作用,或者说不同情绪词在加工上的差异,是否是由词的情绪义引起的?这是我们必须回答的一个问题。为此我们采用双意义词汇为材料,例如,在“暴君”这个词汇中,既存在词的概念义(君王),又存在词的情绪义(残暴),用脑成像的研究手段,对比研究了双意义情绪词的概念义和情绪义加工的神经网络和时间进程。研究采用了概念义启动和情绪义启动两种实验范式,并控制了不同的加工时间(50ms和300ms)。结果发现:1)概念义的加工主要激活了语义相关的脑区,而情绪义的加工还额外激活了引起情绪的相关脑区;2)概念义的加工需要更多的注意参与,而情绪义的加工更多表现为一种自动化的过程。我们还研究了词汇加工中概念义与情绪义的相互作用。研究采用经典的启动范式,包括六个行为实验。实验1~3通过控制不同的概念维度(包括概念范畴、语义联结度、抽象性),实验4~6通过控制不同的情绪维度(包括情绪价的一致性关系、情绪价的类型和唤醒度)。六个行为实验的结果一致表明,无论情绪信息如何变化,概念启动效应都会出现,而情绪启动效应是否出现,要受到概念信息的制约。这表明,相对于情绪属性,词汇的语义属性得到了更优先的加工。

2)进一步研究了词的情绪价对汉字的语音和语义加工的调节作用。在2004年我们发表的论文中,主要探讨了词的情绪价对字形加工的调节作用,其结果发现了词的情绪价对腹侧通路字形加工的调节作用。这个结果能否推广到词汇语音和语义的加工?为此,我们采用fMRI技术研究了词的情绪价对语音和语义加工过程的调节作用,并考察了词的使用频率的影响。我们通过押韵判断任务,探讨了情绪价对汉字语音加工的影响;通过语义范畴判断任务,探讨了情绪价对汉字语义加工的影响。结果发现:(1)在语音任务中,情绪字特别是消极字可以引起杏仁核、前扣带回和内侧额叶等脑区的更大激活,并提高左侧颞上回后部的激活水平,降低左侧背外侧前额叶在语音加工中的作用。生理和心理交互作用(PPI)的分析结果显示,在消极字的加工中,左侧杏仁核可以直接调节左侧中央前回和顶下小叶的激活水平。(2)在语义任务中,情绪字(包括积极和消极)激活了双侧颞中回、海马和扣带回等脑区,降低了前额叶在语义提取中的作用。PPI分析的结果显示,在消极字的加工中,左侧杏仁核可以直接调节双侧颞叶中部的激活水平。这个实验结果说明,通过控制不同的实验任务,字词的情绪义对语音和语义加工也表现了调节作用,对语音的调节主要表现在背侧通路,而对语义的调节主要表现在腹侧通路。

3)进一步研究了不同注意水平下词汇加工的情绪调节机制。在这个实验中,我们主要控制了情绪词加工的注意水平。实验通过“后掩蔽”的范式,让情绪词的加工分别处于注意和非注意两种水平上。结果发现,在注意水平下,情绪信息影响词汇加工可能存在三条调节通路:(i)情绪信息对视觉皮层的直接调节作用;(ii)通过杏仁核的参与增强视觉皮层(如梭状回)的激活,从而对当前的词汇加工产生促进作用;(iii)杏仁核通过投射到前扣带回(负责注意资源的调节)调节视觉皮层的活动,从而实现对词汇加工的影响。而在非注意水平下,右侧额下回在情绪信息调节词汇加工的过程中起到了重要的作用。该结果进一步说明,情绪的调节作用在不同注意水平上是不一样的,在词汇加工中情绪和注意存在交互作用。

4)研究了情绪词的学习及其脑机制。我们采用情绪学习范式研究了词汇情绪义的联想学习。实验中将新异刺激和情绪词配对呈现,然后要求被试对新异刺激的好恶感进行评价,进而考察评价分数是否受到词汇情绪意义的影响,如果有影响,则说明被试习得了词汇的情绪意义。实验采用了字形判断和情绪判断两种任务。结果显示:(1)当被试没有意识到新异刺激与情绪刺激的偶联关系时,也能学习到词汇的情绪意义;(2)字形判断任务和情绪判断任务的结果一样。这说明,词汇情绪意义的学习不依赖于被试的偶联意识,个体具有一种潜意识的学习潜能,词汇情绪意义的激活独立于概念意义。

我们还研究了情绪信息对陌生语言的概念信息习得的影响。研究采用反应时技术和fMRI技术,考察了消极情绪信息对陌生语言的概念信息习得的影响。实验采用陌生的韩语字符为实验材料,分三个阶段进行。在学习阶段,要求被试有意识的识记陌生韩语字符的意义,该意义通过配对的中性或消极汉语词传递。在意义测试阶段,要求被试判断学习过的韩语是“生命类”还是“非生命类”词汇。在再认阶段,被试需要判断屏幕上呈现的韩语是“学习过”的,还是“没有学习过”的。行为结果发现,在消极情绪信息的影响下,词汇意义提取的正确率降低,而再认的正确率增高。这表明,消极情绪信息促进了词汇的再认,但阻碍了词汇的概念义的提取。脑成像结果发现,额下回、颞下回、梭状回、顶上小叶和楔前叶等脑区在韩语字符学习中得到激活。ROI分析显示,消极词配对条件下习得的词汇的概念义的提取和中性词配对条件下习得的词汇的概念义的提取,对学习相关网络的激活程度上,几乎没有差异(除了额下回)。由于消极词配对学习条件下,包括了概念义和情绪义的共同激活,因此消极词配对条件下的词汇的概念义自身对学习相关网络的激活水平要低于中性词配对条件,这与行为上表现出来的正确率的降低和反应时的延长是一致的。而在再认阶段,消极配对条件下习得的词汇对学习相关网络的激活相比于中性词配对条件下习得的词汇显著减弱。这提示,消极词配对条件下的词汇可能得到了更有效的学习,说明了消极信息对整词学习的促进作用。

(二)非语言的情绪背景对语言加工的影响,重点关注了情绪状态、情绪图片等对词汇加工的影响。

5)探讨了情绪状态对词汇阅读的影响。我们早期的研究都采用情绪词为实验材料,这种研究有其明显的局限性,即情绪词在人脑中诱发的情绪可能比较微弱,唤醒度较低,不足以引起相应的作用。为了考察情绪对阅读的调节作用,我们进一步探讨了“情绪状态”对词汇加工的影响,包括积极状态和消极状态的影响。在通常情况下,由情绪状态引起的情绪在唤醒度上是比较高的。在一项研究中,我们采用ERP技术研究了在不同注意水平下,情绪背景对词汇加工影响的时间进程。实验采用跨通道延迟反应模式,通过听觉通路呈现两个不同频率的纯音刺激,视觉通路呈现情绪图片和中性词,要求被试或者注意视觉通路刺激(控制性加工条件),或者注意听觉通路刺激(自动化加工条件)。结果显示,在控制性加工和自动化加工两种条件下,消极情绪背景都促进了词汇的早期加工,也都干扰了词汇的晚期加工。

6)在另一项研究中,考察了外语学习焦虑影响第二语言词汇命名的认知神经机制。我们选择了外语学习焦虑程度不同(高、低)的两组被试,考察了焦虑影响词汇命名的脑机制。结果发现,高焦虑组被试在英文任务中焦虑程度更高,在腹侧前扣带皮层的去激活更高,而且焦虑分数和去激活之间存在显著的线性相关,焦虑程度越高,去激活越强。另外,高焦虑组被试在左侧颞上回和中央前回的激活比低焦虑组更高,可能表明高焦虑组被试需要有更多与言语产生相关的脑区参与;在相关分析中发现,腹侧前扣带皮层的去激活和这两个脑区之间存在显著相关,腹侧扣带回的去激活越高,左侧颞上回和中央前回的激活越强。

7)我们还让被试参与一种虚拟的竞争活动,通过积分的高低,使被试分别处于中性、高度积极、低度积极、高度消极和低度消极的情绪状态,然后要求被试判断快速呈现的刺激序列中的词汇是否为动物词。结果发现,相对于中性情绪状态,在情绪状态下,词引起的识别波,其潜伏期缩短、波幅也减小,表明情绪促进了个体对识别的词汇。积极情绪状态和消极情绪状态下词汇识别诱发的识别波在波幅和潜伏期上没有显著的差异,表明两者对词汇识别的影响没有显著差异。此外,不同程度的积极情绪状态对识别波的影响也没有显著的差异;而高消极情绪状态相比于低消极情绪状态,诱发的识别波的波幅降低、潜伏期减小,表明情绪越消极,越能加速对词汇的识别。

8)采用行为与脑成像技术,研究了情绪状态对词汇形-音和形-义学习的调节机制。实验中要求被试在一定情绪状态(积极、消极和中性)下,分别学习某个字符的形音和形义关系。学习按前后分成四个阶段,每个阶段结束时都安排形音和形义匹配测验,以检查学习的效果。实验结果发现,1)在形音学习中,随着学习的进行,被试完成形音匹配测验的正确率越来越高,反应时越来越短。与其他条件相比,消极情绪状态下,形音匹配测验的反应时在学习的中期阶段(第2、3阶段)显著长于其他条件。这表明消极情绪对形音学习具有阻滞作用,但随着学习的进行,各种学习条件的差异消失。脑成像的结果显示,与中性条件相比,消极情绪在学习的前三个阶段显著增强了双侧枕颞等皮层的激活,而这些脑区与视觉注意的抓取有关。表明消极情绪之所以会阻滞形音学习的进程,是由于情绪唤起占用了一定的注意资源,从而导致形音关系编码的不足。2)在形义学习中,消极情绪对词汇早期的形义学习也有阻碍作用。与中性条件相比,消极情绪在学习的前三个阶段显著增强了双侧枕颞皮层,额叶,顶叶,扣带回、以及海马旁回等广泛的脑区激活。而在学习的最后阶段,情绪效应消失。这表明在学习过程中,情绪状态使视觉注意和情绪加工的脑区都过度激活,导致形义关系编码成绩的下降。随着学习的进行,这些脑区产生适应性改变,情绪状态的阻滞效应因而消失。3)通过对上述两个实验的联合分析,我们还发现,在形音和行义学习中,情绪效应主要激活了视觉注意的皮层(枕颞皮层)。与形音学习相比,形义学习更多激活了扣带回、角回、颞下回等语义加工脑区。总之,情绪状态对词汇学习具有调节作用,不同学习任务中,情绪的调节作用具有不同的特点,学习中的情绪状态对词汇学习相关脑区的塑造作用是动态变化的。

几年来我们在模型的建构和检验上做了一些努力,但也留下了不少问题和遗憾:

从模型本身来说,我们的模型显得非常庞大,它既包括基本的词汇加工网络,又包括词汇的调节网络,而每个网络都需要大量的研究来进行检验,因而不可能在较短时间内取得显著的进展。相对于模型的建构来说,我们已经进行的工作就显得非常有限了。我们为模型做了一些铺垫的工作,离建构一个完善的模型还有很大距离。

2006年后,我将自己的研究方向调整到情绪对阅读过程的影响这个方向上,我自己带的一些学生也都主要进行这个方向的研究。但是这时候课题组已经扩大,课题组的研究方向也开始分散了,除了阅读过程的神经机制及情绪对阅读的调节机制外,实验室的一批年轻老师都有了自己的研究方向,有了自己申请到的课题,如口吃的研究、手势语的研究、汉英双语的研究等等。研究方向多了,力量自然不集中,加上我自己的年龄大了,精力有限,2007年后,开始面临“退休”的压力,2009年不再继续招收新的研究生,这一切都使得我希望发展的这个方向没有得到人力上的保证。

我们的研究结果没有及时整理发表出去,数据积压比较严重,是我后期研究工作感到最遗憾的地方。从2006年以后,我们做了许多研究,获得了许多不错的数据,在学生毕业论文答辩中也获得不少专家的好评。但是,这些数据都没有及时整理发表出去,数据积压的数量较大。我想过一些办法希望解决这个问题,但收效不大。至今还有许多很好的数据没有发表。在科学研究中,时效性是很重要的。数据“一时积压”很可能就意味着“永远积压”,以后再也不会有机会发表了,这是我感到非常不安的地方。

以上是我们近年来围绕模型进行的部分研究和我近期的反思。我一直相信自己的想法是合理的,有价值的,不愿意让这个模型“中途夭折”,但又深感到自己已经没有能力和条件来继续完成这件有意义的工作。我们的成果有些已经在国内、外刊物上发表了,有些还没有正式发表。我的这些想法不适合在一个正式刊物上发表出去,而博客是一个可以发表自己不成熟想法的地方。因此,我愿意把自己的想法在博客上非正式地发表出来,供大家批评和指正,也希望有感兴趣的人能继续我的研究工作,从而对中国的“悦读”认知神经机制的研究做出一点贡献。的“悦读”认知神经机制的研究做出一点贡献。
 

原载于彭聃龄新浪博客 http://blog.sina.com.cn/s/blog_8f8943490101ozdd.html