二编制测验的一般步骤(第2页)
预测完成以后可以对预测的结果进行项目分析。项目分析主要涉及题目的难度、区分度、测验结构的合理性等。根据分析结果对题目进行选择、修改,而后选择较好的题目组成正式测验。
(五)合成测验
经过试测和项目分析之后,就可以选出性能优良的题目加以适当的编排,组合成测验。
1。题目的选择
选择测验项目有三个指标:①测验的性质,即要选择那些能够测量所要测量的内容的项目。假如要测量的是阅读能力,就不能选择测量运算能力或语言推理能力的项目。②项目的难度。选择多大难度的项目并无固定的标准,选拔性测验要求难度大些,考查性测验则要求难度不可太高,人格测验则不要求难度。③项目的区分度。一般来说,项目的区分度越高越好,对于选拔性测验尤为如此,但有时也可以保留若干区分度不高的项目,这要视项目的重要性而定。
对题目进行初步选择可以细分为如下几个步骤:①检查题目是否符合细目表中某一单元格内容的要求;②根据细目表对各部分所要求的比例选择适当数量的测试题,尽量覆盖整个细目表的内容;③检查题目是否适合施测的对象和施测的条件;④检查题目是否适合施测的对象和施测的条件;⑤检查题目的难度是否恰当,一般来说,难度定为0。5较为合适(能力、技能类的题目除外);⑥检查所选择的题目是否彼此独立,没有重叠,即回答某一问题所需的知识与能力是否与回答其他问题无关。在选择题目时还要注意测量工具的长度。一个测量工具究竟包括多少题目较为合适,既要看是否能完全满足测量目的的要求,也要根据测量工具的时间限制和被测者的年龄、阅读水平而定。通常应该在正式测试前,根据试测测量工具所需时间,对测量工具长度进行调整。
2。题目的编排
在对测试题初次选择完毕之后,就应决定如何对选出的题目进行最佳编排。测试题的编排方式因测量工具类型的不同而有所差别,下面是题目编排的一般原则:①将测量相同因素的测试题排列在一起;②尽可能将同一类型的测试题组合在一起,这样只需对每一类型的试题做一次说明,也方便被测者回答,同时还可以简化计分工作和对题目的统计分析;③难度测验的题目应按由易到难排列,这样可以鼓舞被测者的士气,避免某些被测者一开始就因较多题目回答不出而失去信心,也可以使被测者熟悉反应程序,消除紧张情绪,同时还可避免被测者在难题上耽搁较长时间而影响了后面的回答;④对于人格测验,应尽量避免将测量同一特质的题目编排在一起,以免被测者猜测出题目所要测查的因素。
测验编制者要对测验进行最佳编排,必须根据测验目的与性质,考虑被测者的作答心理和反应方式,以及题目格式的类型和难度。测验一般有三种编排方式:①并列直进式,这种方式是按测验的性质将题目组成若干分测验,同一分测验中的测题,则依其难度由易到难排列,如韦克斯勒量表;②螺旋式,这种方式是将各类题目按照难度或年龄分成若干不同层次,再将不同性质的题目予以组合,进行交叉式排列,其难度则逐渐升高,采用这种编排方式,主要是让被测者不至于在一段时间内只对同一性质问题作答,保持被测者作答的兴趣,如比奈-西蒙智力测验;③混合式,这种方式是指将所有的题目按照难度排列,而不管题目的性质。一般不将同一性质的题目编排在一起,态度、人格、心理健康等量表多采用此法。
3。编制复本
在很多情况下,为了增加实际的效用,测验需要编制复本,复本越多,使用起来越方便。各份复本必须等值,等值是指符合下列条件:①测量的是同一种特质;②具有相同的形式;③题目数量相同;④内容范围相同但具体题目不应重复。只要有足够数量的题目,编制复本并不困难。先将所有适用的题目按难度排列,次序为1,2,3,4,5…如果要分成两份等值的试卷,可采用下面的方法:
A本:1,4,5,8,9…
B本:2,3,6,7,10…
如果要分成三份复本,可采用下面的方法:
A本:1,6,7,12,13…
B本:2,5,8,11,14…
C本:3,4,9,10,15…
采用上面的方法可使复本之间在难度上基本平衡,从而获得大体相同的分数分布。复本编好后,如果有条件应该再试测一次,以决定各部分是否真正等值。
(六)测验的标准化
一个测验的好坏,取决于该测验的标准化水平。标准化是指测验的编制、施测、评分以及解释测验分数的程度的一致性。具体地说,测验标准化包括下列内容。
1。测验内容
这是标准化的前提,是对所有被测者实施相同的题目,如果测验内容不同,所测得的结果就无法比较。
2。施测过程
标准化的第二个条件是所有被试必须在相同的条件下施测,其中包括以下几个方面。①相同的测验情境,如统一的采光条件,统一的桌椅高度,统一的场所布置等。②相同的指导语,指导语一般包括两部分:一是向被试说明测验的目的,以便解除被测者的顾虑;二是向被试说明如何对测验项目进行反应。指导语必须事先拟好,印在测验项目的前面,并且力求清晰、简单、明了,避免引起误解。③相同的测验时限,测验的时间限制是测验程序中的重要方面。不过,不同的测验对时限要求不同。一般来说,人格测验对时限的要求不太严格,甚至不要求时间限制;但能力测验和学绩测验必须考虑时限问题。确定时限一般采用尝试法,即通过预测来决定。通常的时限为大约90%的被测者在预定的时间完成全部测验项目即可。
3。测验评分
评分的客观性是标准化测验的第三个条件,评分的客观性意味着两个或两个以上的评分者对同一份测验试卷的评定是一致的。只有当评分是客观的时候才能将分数的差异归于被试间的差异。但要做到完全客观(一致)的评分是较困难的,一般来说,不同评分者之间的一致性达到90%以上,便可认为评分是客观的。客观性评分要求:①对反应要及时清楚地记录,以免由于记忆丧失造成混乱,特别是对口试和操作测验,此点尤为重要,必要时可以录音和录像。②要有一张标准答案或正确反应的表格,即计分键。选择题测验的计分键包括每一测验项目正确反应的号码或字母;问答题的计分键包括一系列的正确答案和允许变化的范围;论文题的计分键包括一致可接受的答案要点;人格测验没有正确答案,计分键上指明的是具有或缺少某种人格特征者的典型反应。③将被试的反应和计分表进行比较,对反应进行分类。对于选择题来说,这个程序是很容易的,但是当评分者的判断可能是唯一起作用的因素时(如问答题、论文题),就需要对评分规则做详细的说明,评分时将每一个人的反应和评分说明书上所提供的样例进行比较,然后按最接近的答案样例给分。从标准计分这个问题我们也可以看出,测验分数虽然看似一个确定的值,但是其中可能由于多方面的原因,如实施、评分以及标准样本的代表性等,对分数的真实性产生影响,因此,绝不可把测验分数看成是固定不变的。这一点在解释分数时应特别注意。
4。测验分数的解释
一个标准化的测验,不仅指测验内容、施测过程和评分程序的标准化,也指对测验结果解释的标准化。如果对同一测验结果(分数)可做出不同的解释,那么测验便失去了客观性。测验编制者为了说明和解释测验结果,必须根据测验的性质、用途以及所要达到的测量量表的水平,按照统计学的原理,把某一标准化样本的测验分数转化为具有一定参照点、等值单位的导出分数。将被测量的事物置于该位置,看它离开参照点多少单位的计数,便得到一个测验值,这就是制定测验量表的过程。量表因单位和参照点不同,可分为类别、等级、等距和等比四种不同水平的量表。为了在解释分数时有所依据,需要制定常模或标准。缺少稳定的参照系,同一个分数就可能做出不同的推论或解释。对于选拔安置等常模参照测验,可通过试测,从被测者总体的代表性样本中获得一个具有代表性的分数分布作为常模。对于诊断或达标等目标参照测验,可根据测验目标要求,制定相应的标准。
(七)对测验的鉴定
测验编好后,必须对其质量进行鉴定,为此要收集测量学方面的资料,对测量的信度和效度的试卷是不能正式使用的,特别是不能用于意义重大的评选或选拔测验。
(八)编写测验说明书
为了使测验能合理地实施和使用,在正式测验编写完成后,还应编制一份测验说明书(或测验手册),对下列问题做出详尽而明确的说明:①测验的目的、功用和适用范围;②编制测验的理论背景以及选择题目的根据;③测验的实施方法、时限及注意事项;④标准答案与评分方法;⑤常模或标准以及分数转化表;⑥信度、效度资料。测验说明书是给施测者看的,有时也可为被试编写一份测验指南,指出测验目的、考核范围、题目形式、数量、作答方式与时限,并附模拟试题。这样做的目的是使被试心中有数,明确复习方向,缓和紧张焦虑情绪。