第一节 测验领域认知模型的定义（第1页）

第一节测验领域认知模型的定义

测验领域认知模型的建构需要首先确立参考的架构，主要考虑模型建构的角度和维度的精细度（属性粒度），然后在此架构基础上建构一个合理的认知模型。

一、领域认知模型的参考架构

在进行认知诊断评价之前，需要先确定评价的目标及其具体内容是什么。评价的内容可以从两个角度进行分类：一是从任务内容的角度进行分类；二是从潜在特质结构的角度进行分类。

在测验中，任务内容是被试面对的问题形式，是具体呈现在被试面前并需要给出解决方案和结果的题目。比如，小学数学考试就可能包括如下的具体任务：

6-2=？4+5=？9-2=？3+7=？

这一类任务可以归纳为“10以内的加减”。小学数学考试可能还包括“进位加法”“两位数相乘”“分数加减”等任务类别，语文考试就可能包括“拼音写字”“组词造句”“阅读理解”等任务类别。被试对每类内容的掌握状况会通过解答具体的、有代表性的题目任务来测量。当然，任务类别也可以包括更一般的内容，如数学类任务、语言类任务、艺术类任务、人际沟通类任务、机械操作类任务等。

潜在特质结构则指的是影响被试任务内容完成质量的内在心理结构。这些内在心理结构包括工作记忆中的信息加工效率、长时记忆中的信息存储状态、信息提取的过程，等等。比如，工作记忆的效率可能会影响信息整合的速度和质量，从而影响答题速度和质量，而长时记忆中存储信息的完备性和概念网络的合理性则会直接影响被试是否能够完成任务。当然，潜在特质结构还包括概念内涵更广的结构，如能力、智力、人格、态度、情绪等。

从以上叙述可以看出，任务内容的完成状况受到潜在特质结构水平的影响，而潜在特质结构水平需要通过任务完成状况来体现。

其实，当某一类任务包含的内容越广、越一般化时，这类任务类别就会越接近潜在特质结构的分类方式。比如，把数学、语文、物理、化学等学科任务放在一起进行测量时，可以叫作学科任务，其实也就是心理学中的一个重要的潜在特质结构——学业智力的重要测量指标。而当把潜在特质结构进行更具体的分类时，这些结构就会越接近任务内容的分类方式。比如，能力可以包括学业能力、人际沟通能力、计划组织能力等，而学业能力又可以继续细分为语言能力、数字能力、运算能力等，语言能力又可以体现为语文任务和英语任务等的完成水平，等等。在认知心理学研究中，每种认知成分的研究总是需要使用具体的任务作为刺激材料，来诱导被试的加工进程，从而对该认知成分进行分析。当然，作为刺激材料的具体任务可能不同。

因此，任务内容和潜在特质结构是从具体到一般的连续体。同一项任务内容可能受到多个潜在特质结构的影响，而同一个潜在特质结构也可以通过不同的任务内容进行测量。

那么，在对领域认知模型进行定义时，应该使用更一般的概念还是更具体的概念作为组织架构呢？这主要取决于这个目标领域的范围广度，领域范围越广，就越应该使用更一般的概念架构。比如，人格是心理学中范围较广的领域，能力是人格的一个维度，而能力也是一个范围很广的领域，它包括了许多方面的能力特质，如语言能力、沟通能力、空间转换能力等。语言能力又可以分为语言理解能力和语言表达能力，语言理解能力可以分为听的能力和阅读的能力，而语言表达能力可以分为写作能力和口头表达能力，等等。因此，一个范围非常广泛的领域很难用具体的任务概念来进行完整的描述。但是，一个范围非常具体的领域就应该使用具体的任务进行描述，因为这样可以使领域概念更加具体和易于操作。

另外，在给领域认知模型选择合适的概念架构时，还可以从命题的角度进行考虑。因为作为某个领域测验的题目，它需要有足够的代表性，能代表测量的目标，还能保证测量结果的稳定性，同时题目总量又不能太多。作为任务或刺激材料的题目，总是会存在领域具体性的问题。因此，一般来说，领域越一般的概念需要越多的题目才能代表它的完整结构，而领域越具体的概念需要的题目量则越少。即使题库的题目数量足够大，但对被试的某一次测试来说，它的测量目标领域还是有限的，测试的题目量也是有限的。因此，对于测量的目标领域非常具体的测验，可以从任务内容的角度进行分类，如各学科的单元测验和学期测验。当测量的目标领域更一般化时，需要使用更一般的概念，如升学考试的测量目标、工作中人才选拔的测量目标等。

通过具体任务来描述领域目标，这种方式的优势是直接、直观、易理解、易操作。然而，它存在的问题是列举的任务内容可能没有全面真实地代表该领域的潜在特质结构；通过潜在特质结构来描述领域目标，这种方式的优势是自上而下统合各类知识、技能和策略，具有较好的逻辑理论基础，这种描述方式的不足是测量中难以操作化。比较好的解决办法是将两种领域目标的描述方式相结合，使自上而下的理论逻辑与自下而上的材料列举有机统一。比如，语文能力评价中，首先研究确定语文能力的潜在特质结构，它包括语言的基础理论知识和语言的实际应用能力。语言的实际应用能力包括语言理解能力和语言表达能力。语言表达能力包括书面表达能力和口头表达能力。书面表达能力就体现在各类具体的任务工作中，如公文写作、散文写作、议论文写作、叙事文写作等，对于每类写作任务又可以提出具体的要求。至此，语文能力评价目标就把潜在特质结构描述有机地与具体的问题任务结合在一起，既能够较好地保证领域潜在特质结构的完备性，又能够保证问题任务有较好的代表性。

二、领域认知模型的构建

在确定了定义领域目标的参考概念架构后，接下来就是要对测量目标的认知模型进行构建。认知模型的构建过程需要将文献调查、专家定义和数据分析有机地结合在一起进行，具体步骤可以参考如下。

第一，研究人员对该领域有关的文献进行详尽的梳理，了解已有的关于该领域测量目标的定义。

第二，专家结合文献资料，初步确立领域目标认知模型，包括测量的知识、技能、问题解决策略等，以及这些成分之间的结构关系。针对每个认知模型节点（每一种认知成分或任务类型），专家需要命制一些有代表性的示例题目（具体任务）来解释它。

第三，将专家命制的示例题目组成试卷（假设专家定义的题目属性正确，题目属性定义和检验见下节内容），收集一批有代表性的被试测试数据。测试数据需要包括尽量详尽的解题过程信息、被试作答过程中的出声思考（thinkaloud）信息以及作答结果信息。

基于被试提供的详尽的解题过程信息和出声思考信息，可以具体分析被试在答题过程中使用到的知识点和解题的策略（protoalysis）。对原始答题信息进行分析已经被公认为是一种有效的识别题目测量的具体知识成分及认知加工过程的方法。

另外，基于作答结果信息，我们还可以尝试针对专家定义的认知模型进行被试离散性检验和题目作答关联性检验。

被试离散性检验就是针对每个认知成分检验被试作答得分的离散性程度。离散性程度显著偏低就需要考虑对定义的认知模型进行修订。得分的离散性程度偏低可以分成两种情形：一种是被试基本掌握了该认知成分，则应该考虑删去该认知成分；另一种是被试基本未掌握该认知成分，如果的确属于该群体的测量目标，那么就应该将该认知成分进行进一步细分。

题目作答关联性检验是检验题目所代表的认知成分之间的关系。简单的检验方法就是检验每两个存在关联的认知成分之间的平均得分差异。作为前置条件的认知成分得分应该不低于作为后置条件的认知成分得分。