第四节 题目在线更新（第1页）

第四节题目在线更新

题目在线更新本来并不是计算机化自适应测验的必要功能模块，但是随着题目更新对题库维护的作用越来越重要，加上CAT在数据采集方面的独特优势，题目在线更新功能将成为CAT系统中具有巨大附加值的模块。

一、题目内容更新

题库在使用的过程中，有些题目的内容可能已经不适合新的情境了，题目的参数可能也会随着测试总体的发展而发生变化，另外，随着题库使用率的提高，也需要增加新的题目。题目在线更新主要涉及两个方面的问题：一是题目内容更新，包括增加新题和对已有题目内容的修订；二是题目参数的在线标定，同样包括对新题参数的标定和对已有题目参数的重新校准。

题目内容的更新主要涉及的是计算机软件设计技术问题，从功能上保证题目内容更新过程的可用性和便利性。

CD-CAT题目参数的在线标定与IRT-CAT的题目参数在线标定并没有什么本质的不同，但CD-CAT题目参数的在线标定包括了题目的测量学参数和题目属性的在线标定，主要涉及两个方面的问题：一是数据的采集方式设计；二是参数的在线标定方法，两者的目的均是为了保证题目参数标定的精确性。

二、在线标定数据采集方式设计

关于数据的采集方式，主要是考虑如何将题目分配给被试作答，包括随机分配和自适应分配。随机分配就是将新题目随机分配给不同的被试，而且题目在测试过程中的位置也是随机插入的，随机分配完全没有体现现代测量理论数据采集的基本要求和优势。自适应分配就是尽量预先获得关于题目参数的初步估计值，如通过领域命题专家标定或通过部分作答数据获得初步估计值，然后自适应地分配给相应水平的被试，正如自适应地估计被试水平一样，通过自适应的方式分配题目也可以节省采集的被试样本容量。当使用部分作答数据对题目参数进行初步估计时，被试的选择就显得非常重要。当前研究者主要关注的是如何设计测验以更好地诊断被试属性掌握模式，关于如何为估计题目参数而选择被试的研究还未受到关注，也许我们可以借鉴认知诊断计算机化自适应测验的设计模式。在CD-CAT情境下，被试属性掌握模式和水平可以通过旧题的施测估计出来，于是可以在这个基础上选择合理的被试进行测试，按照一般规律，应该选择不同属性掌握模式的被试，但在每单个属性上的掌握模式应该从整体上进行平衡，当然，这种模式还需要经过实验论证。

数据采集方式需要考虑的另外一个问题与参数标定方法的使用有关。如果参数标定时需要进行等值，那么，数据采集过程中就需要考虑等值的设计要求。在线标定中的等值设计模式是，一组被试作答的旧题中会包含一定数量的锚题，再加上部分新题。在采集了足够的作答数据后（被试能力值会在各自的CAT测试结束时用所有旧题估计得到），用条件估计方式同时估计锚题和新题的参数，然后通过锚题新参数与题库中的已有参数建立等值关系，将新题参数等值到题库的参数单位系统上去。基于等值设计的在线标定方法由于通过锚题进行了参数校准，因此能够保证新题参数不会受到具体被试样本带来的误差的影响，但这种方法需要给一组被试插入一定数量的锚题，会影响自适应过程的实施。

每个被试测试应该插入多少个新题为宜，这个似乎没有统一的标准，应该是在保证精确估计被试水平的前提下，以不引起被试疲劳效应为主。

三、参数的在线标定方法

参数的在线标定方法讨论的是采集了作答数据后，如何估计新题的参数。一般情况下，新题的参数标定会经历两个参数的条件估计过程，一是基于所有旧题估计被试水平参数，二是基于估计的被试水平参数来估计新题参数。这两个估计过程的具体实施由于数据采集方式的不同而不同。在等值设计的情形下，基于估计的被试水平参数估计新题参数后，新题并不直接进入题库，而是要经过一个等值的环节之后才进入题库。在没有等值设计的情形下，基于估计的被试水平参数估计新题参数后，新题将直接进入题库。有的研究者担心这种标定方式会导致新题参数由于被试样本而产生漂移（scaledrift）。其实这种担心是没有必要的，只要保证被试样本分布合理、容量足够，且被试水平估计精确，那么，就不会产生明显的参数漂移现象，陈和辛（&Xin，2012）的实证研究也证明了这一点。

喻晓锋等人（2015）提出了一种基于似然比的题目参数估计和验证方法，使用该方法可以同时对题目属性进行定义和对参数进行标定。作者认为该方法可以直接用于认知诊断计算机化自适应测验的题目在线更新。本书的前面章节已经对该方法进行了详细介绍。

本章小结

计算机化自适应测验是基于现代测量理论的最有特色的应用技术。它让测验的过程更加人性化、更加高效、更加安全、更加准确。

计算机化自适应测验编制主要包括题库建设、给被试自适应选题、测验终止和结果报告。实施计算机化自适应测验最主要的困难是题库建设和自适应选题策略。自适应选题策略已经研究得比较深入，而题库建设是一个比较耗时、耗力的过程。

题库的在线更新是计算机化自适应测验研究中的一个附加领域，具有传统题目更新技术无法比拟的优势。

思考题

1。请思考认知诊断计算机化自适应测验中各种选题策略的具体应用过程。

2。请思考题目在线更新的具体过程和策略。