第二节 属性层级方法(第1页)
第二节属性层级方法
莱顿等人(Leighton,Gierl,&Hunka,2004)提出了对被试认知属性进行诊断的属性层级方法(attributehierar)。
一、属性层级
AHM将被试的测验项目作答模式对应到已定义好的结构化属性模式(structuredattributepatterns)中,结构化属性也叫属性层级(attributehierarchy),定义了被试在问题解决中所需属性的结构顺序,也就是任务解决中的认知模型。属性层级在AHM中起着基础性的作用,它代表了被试在测验作答过程中涉及的知识技能及其结构关系。邻接矩阵说明了属性之间的层级关系,因此,在AHM中也起着关键作用。吉尔等人认为,基于某个认知模型的测验分数推论更加具有解释力,对于理解和评估被试的表现也更具有实质意义。
属性层级方法是一种表面上与规则空间方法非常相近的方法。方法提出者认为AHM是规则空间方法的变化,但他坚持认为两种方法之间有很大的不同。最本质的不同在于AHM认为测验认知属性之间是存在层级关系的,因此是相互依赖的;而规则空间方法则没有重视测验属性之间的层级关系及其相互依赖性,也没有在邻接矩阵中刻意进行定义。另外,AHM认为,必须在测验编制之前定义好属性层级结构,并依此属性层级结构编制测验项目,这样才能保证编制的项目能够推导出唯一的邻接矩阵;而规则空间方法总是先编制好测验项目,然后再根据测试数据推导出属性邻接矩阵,这样很难保证邻接矩阵的唯一性。
二、基于属性层级的被试属性掌握模式诊断
AHM将被试的作答表现与认知模型结合在一起的诊断过程分为四个主要步骤。
第一,定义任务解决认知模型,也就是属性层级,属性层级关系一般有四种典型模式,已在前文中描述。
第二,命制题目测量认知模型所定义的认知成分,根据属性层级结构来命制测验项目,测验开发者可以完全控制每个项目测量的属性。
第三,基于认知模型对被试作答表现进行记分和分析。有了属性层级结构,就可以推算出理想被试的理想反应模式(注意:AHM中作者使用expected代替ideal,并认为两者强调了不同的意义)。理想被试的作答过程是不存在猜测和失误的。基于理想被试反应模式矩阵,利用项目反应理论中的模型,首先估计出每个项目的参数以及理想被试的能力参数,这是AHM进行分类的基础。AHM提出了两种对被试观察反应模式进行分类的方法,分别叫方法A和方法B。下面分别对这两种方法进行简要的介绍。
方法A:初级分类法(preliminaryclassifiethod)。该方法将被试观察反应模式与所有的理想反应模式进行比对,找到最匹配的理想反应模式,其对应的属性掌握模式即为该被试的归类结果。具体来说,用X表示被试观察反应模式,用Vj表示第j种理想反应模式,dj=Vj-X就会产生一个可能包含0、-1和1的向量,各个元素表示在各个题目上的理想反应与观察反应之间的一致性,0表示观察反应与理想反应一致,-1表示理想反应答错,实际观察反应却答对(简记为01误差),其发生的概率表示为Pjk(θ),1表示理想反应答对,实际观察反应却答错(简记为10误差),其发生的概率表示为1-Pjm(θ)。K个发生“01误差”的项目和M个发生“10误差”的项目的联合概率表示为:
式(6-9)表示了观察反应模式属于某一理想反应模式的可能性大小。若K和M均为0,则观察反应模式与理想反应模式完全一致。若K和M并不全为0,那么,PjExpected(θ)越大,则表示观察反应模式属于该理想反应模式的可能性越大,反之,PjExpected(θ)越小,则表示观察反应模式属于该理想反应模式的可能性越小。在这里,P的计算均是基于项目反应理论模型的,模型参数值使用上文提到的理想反应模式矩阵的估计结果,按照这种模式计算的Pjk(θ)表示了第j种理想反应模式对应的能力水平答对第k题的概率,而1-Pjm(θ)表示了第j种理想反应模式对应的能力水平答对第m题的概率。需要特别注意的是,这里的k和m分别表示的是“01误差”项目集和“10误差”项目集中的顺序。
方法B:验证分类法(verifiinaryclassifietod)。该方法比方法A更加简单直接。首先,需要识别出逻辑上属于观察反应模式子集的所有理想反应模式。比如,如果观察反应模式为11101,那么,理想反应模式11000、10101、11100、10001等就是观察反应模式的子集,这些子集所对应的属性掌握模式也被认定为被试已经掌握。如果理想反应模式不是观察反应模式的子集,如01111、00011等,则需要分别计算每个此类理想反应模式中“10误差”发生的概率之积,以此作为对被试进行判断分类的证据。“10误差”发生的概率计算方式与方法A一致,即1-Pjm(θ),该值越大,则观察反应模式属于该理想反应模式的可能性越大。因此,方法B中PjExpected(θ)的计算只是针对发生了“10误差”情形的理想反应模式,被试观察反应模式分类也只在这些理想反应模式中进行判断。
第四,报告分析结果。报告结果需要注意几个方面:首先,需要详细地解释每个属性的意义,并且以具体项目为例来说明属性的测量方式;其次,需要提供如何根据被试测验分数对其属性掌握状态进行解释的指导原则;最后,在给教育者提供结果解释时,需要通过学生诊断剖面图、个案分析的方式向教育者说明不同作答结果的认知心理学意义。