第三节 认知诊断计算机自适应测验的其他主题(第1页)
第三节认知诊断计算机自适应测验的其他主题
一、被试属性掌握模式估计
被试属性掌握模式估计方法有多种,如极大似然估计法(MLE)、极大后验估计法(MAPE)、贝叶斯期望后验估计法(EAPE)、马尔可夫链蒙特卡洛法(MCMC)等。然而,在认知诊断计算机化自适应测验环境下,一般会使用MLE法、EAP法进行参数估计。具体的参数估计方法,参阅本书前面章节的相关内容。
二、测验终止规则
认知诊断计算机化自适应测验给不同的被试测试不同的题目,但最后总要有一个统一的测验终止的规则。与基于IRT的CAT一样,CD-CAT的终止规则一般也是两种:固定测验题目长度规则和固定被试水平估计精确性标准。
固定测验题目长度规则就是虽然给不同被试测试了不同的题目,但测试的题目数量是固定不变的。固定测验题目长度的方式有两个方面的优势,一是符合大众对测验模式的一贯认知,如果不同被试在测试不同题目的同时,还测试了不同数量的题目,这可能会引起人们的疑惑。另外一个优势主要是在研究中体现的,固定测验长度可以比较不同选题策略的效率。当然,固定测验题目长度规则的不足也是明显的,虽然题库足够大但有限,无法保证每个被试最终的水平估计的精确性一致,特别是在CD-CAT中,可能还会导致不同属性的估计精确性不一致。
固定被试水平估计精确性标准更能体现基于现代测量理论的计算机化自适应测验的优势。在认知诊断计算机化自适应测验中,一般是设定属性掌握模式估计的最大后验概率水平在某一个特定值上,如0。9、0。95等。设定的最大后验概率水平越高,被试的属性掌握模式估计越稳定精确,当然,这也需要消耗更多的题目量。卡普兰、德拉托尔和巴拉达的研究结果认为,题目质量会影响测试题目的长度。
三、结果报告
认知诊断计算机化自适应测验最终报告的结果一般包括测验属性的解释、被试在各个属性上的掌握状态剖析、补救教学建议等内容。现在,也有研究者在结果中报告基于IRT的能力水平估计值,以及基于该能力估计值的导出分数,以反映被试整体水平在群体中的位置。