第二节 选题策略(第1页)
第二节选题策略
选题策略直接影响测试过程的高效性和测试结果的精确性,同时还会影响题库的使用效率,因此选题策略一直是CD-CAT研究的主要内容。
一、测验初始阶段的选题策略
选题策略的研究经常分初试阶段的选题策略和精确估计阶段的选题策略。在选题的初始阶段,由于缺少足够的信息,因此很难对被试做出有意义的判断。但是,初始阶段的测试信息可以为下一步精确估计阶段的选题提供基础。在传统的IRT-CAT测试中,初始阶段的题目一般是选择中等难度附近的题目,为后续选题提供关于被试能力水平的初步定位信息。在CD-CAT中,初始阶段的题目的主要功能应该也是为后续选题提供初步定位信息。但CD-CAT的定位信息主要是关于被试属性掌握模式的信息。涂冬波、蔡艳和丁树良(2012)的研究结果认为,在CD-CAT的初始阶段,基于属性可达矩阵选择题目能够为后续选题提供关于被试属性掌握状态的较好的定位信息。
其实,颜远海、丁树良和汪文义(2011)与彭亚风等人(2016)的研究结果均认为,在对被试属性掌握模式的整个判断过程中,根据属性可达矩阵进行选题是保证判别分类结果精确性和高效性很好的原则。当然,除了题目的属性组合模式之外,题目的测量学参数也是影响测量结果精确性和高效性的关键因素。
二、测验精确估计阶段的选题策略
测试结果的高效性和精确性是选题策略关注的焦点,测试结果的精确性主要是通过信息量大小来进行衡量的。在参数的精确估计阶段,指导选题策略的信息量指标有很多种,下面介绍几种受到较多关注的信息量指标。
一是基于KL散度(Kullback-Leiblerdivergence,请参见后文详解)的选题策略,即根据被试当前属性掌握模式的估计值,每次从题库或剩余题库中选择使KL散度最大的项目施测。我们在很多文献中已经习惯将KL散度与KL信息量混合使用,KL散度是两个概率分布之间的偏离程度。对于两个离散变量概率分布P和Q,KL散度定义为:
对于两个连续变量概率分布P和Q,KL散度定义为:
在认知诊断计算机化自适应测验中,P和Q一般就是项目反应函数。具体应用KL信息量于CD-CAT中选题的规则如下:
Xr是被试i在项目r上的得分,取值0或1。在认知诊断评价中,αc的可能取值是有限的,于是,许等人(Xu,g,&Douglas,2003)提出将基于αc的所有可能取值计算的KL散度累加起来如下:
二是基于香农熵(Sharopy)的选题策略(SHE),根据被试当前属性掌握模式的估计值,每次从题库或剩余题库中选择使香农熵最小的项目施测。对于有n种可能取值的离散型随机变量X,香农熵的定义为:
P(xi)是变量X取值为xi的概率,b的取值可以是2、10或其他值。由上式可以看出,当X的某个取值概率为1,而其他取值概率为0时,会令累加和达到极小值0;而当所有取值的概率趋于相同时,将使H(X)达到极大值。当两个事件X和Y的取值分别为xi和yj时,可以定义条件熵(alentropy)如下:
具体应用香农熵于CD-CAT中选题的规则如下:
假设属性掌握模式α的先验分布为g,在给被试i施测了t个项目后的后验概率表示为:
U(t)为被试i在t个项目上的作答结果向量,L(U(t)|αc)为似然函数。在认知诊断评价中,αc的可能取值是有限的。于是,基于后验概率的关于属性掌握模式αc可能取值的香农熵表示为:
K为测验属性个数。
在给被试i施测了t个项目后,从剩余题库中选择项目r作为下一个测试项目的规则就是,该项目能使下式的取值达到最小化:
Xr为被试i在项目r上的作答结果,取值0或1。
三是基于互信息(mutualinformation)的选题策略(MI)。对于离散型随机变量X和Y,互信息定义如下:
P(x,y)是随机变量X和Y的联合概率函数,P(x)和P(y)分别是随机变量X和Y的边际概率分布函数。对于连续型随机变量,只要将累加形式改为积分形式即可。
根据互信息的定义,它反映了变量X和Y之间信息共享的程度,如果X无法给Y的定义提供任何信息,那么,X和Y就是相互独立的,互信息函数等于0。如果知道X就能知道Y,说明两者信息共享达到完美。互信息是非负的,且对X和Y是对称的。
在构建GDI指标时将属性进行了缩减,对于某个项目来说,只是从形式上减少了需要计算的属性掌握模式数量,如上例中,需要累加的量就从25减少到了23,并不会从实质上改变属性掌握模式的内涵。
许多研究者在这些信息量指标的基础上进行了改进,以提高选题过程的效率和诊断结果的准确率。
程(g,2009)提出了基于后验概率加权的KL信息量的选题策略(PWKL)。相对于KL信息量选题策略,PWKL给KL信息量增加了不同的权重,权重是属性掌握模式的后验概率。
程还提出了基于后验概率和属性掌握模式距离加权的KL信息量的选题策略(HKL)。相对于PWKL选题策略,HKL选题策略的区别在于权重不同,HKL选题策略同时考虑后验概率和属性掌握模式之间的相似性来对KL信息量加权。
卡普兰、德拉托尔和巴拉达(Kaplaorre,Barrada,2015)又在PWKL选题策略的基础上对其加权模式进行了改进,提出了改进后的MPWKL选题策略。
研究者对各种选题策略的应用进行了深入比较,不过,这些比较研究都使用了特定的认知诊断模型,比较的结果是否可以推广到其他认知诊断模型,还有待进一步探讨。