第八节 海明距离判别法 一种非参数认知诊断评价方法（第1页）

第八节海明距离判别法：一种非参数认知诊断评价方法

基于参数化统计模型的认知诊断评价方法拥有严格的逻辑理论基础，使用具有明确定义的参数来描述问题空间，能够清晰地刻画出被试作答反应结果与被试潜在特质水平及项目特征之间的逻辑关系。同时，基于作答样本数据对总体参数特征的推论过程也有着严密的理论和技术基础。然而，在面对实际问题情境时，参数化统计模型也存在一些复杂甚至很难解决的问题。非参数认知诊断评价方法可以绕过参数化统计模型的一些严密假设或复杂技术问题，直接给出问题解决的结果。非参数认知诊断评价方法的主要优势有：①非参数认知诊断评价方法没有关于测验模型参数及其关系的假设，因此可以处理数据类型比较复杂、无法确定测验数据拟合的参数化诊断模型的情形；②非参数认知诊断评价方法的计算过程比较简单，不需要使用如参数化统计模型一样复杂的计算方法和技术；③非参数认知诊断评价方法更加容易被理解，因此也更加容易被领域外专家推广到实际应用情境中。

非参数认知诊断评价方法有很多，如基于聚类分析方法的认知诊断评价方法（p;Li，2009；康春花，任平，曾平飞，2015）、广义距离判别法（geancedisation，GDD，孙佳楠，张淑梅，辛涛，等，2011）等。

认知诊断评价方法对于促进各级各类教学和辅导具有重要的意义，因此，让许多教育工作者能够正确理解并实际使用该方法才能显示出认知诊断评价理论的实践意义。我们正是以易理解性和易用性为出发点，提出了一种简单易用的非参数认知诊断评价方法——海明距离判别法（hammingdistancedisation，HDD，罗照盛，李喻骏，喻晓锋，等，2015），并通过初步比较研究发现该方法具有较好的判别力。

一、海明距离

海明距离（hammingdistance），有时译成汉明距离。在信息论中，海明距离指两个等长字符串对应位置的不同字符的个数。例如，字符串A（1，0，1）与字符串B（0，1，0）的对应位置的不同字符个数为3，即A与B的海明距离为3。海明距离被用于海明码（hammingcode）中，对编码进行检错和纠错。

二、定义测验反应模式间的海明距离

不考虑测验中被试的观察反应模式存在缺失的情况，在有J道0、1计分项目的认知诊断测验中，我们将被试i的观察反应模式Yi与第t种理想反应模式It之间的海明距离定义为：

三、海明距离判别法在认知诊断分类中应用的合理性

第二，判别过程的合理性。由于观察反应模式与理想反应模式对应位置的元素间的海明距离均为非0即1的整数，很有可能会出现某个被试的观察反应模式与多个理想反应模式间的海明距离相同且均为最小值的情况，参考孙佳楠等人的判别规则，此时就无法按照海明距离最短准则对被试进行判别。因此，必须采取某种辅助判别方式对符合此种情况的被试进行处理。根据辅助判别方式的不同，本方法可分为R方法（随机方法）和B方法（Bayes方法）两种。R方法是指从多个最小距离对应的理想反应模式中随机（random）选取一种，再将其对应的理想掌握模式作为被试的属性掌握模式判别值。由于这些“特殊的”理想反应模式是在剔除了大部分与被试的观察反应模式相似度低的其他理想反应模式后挑选出来的，在没有其他任何可辅助判别的信息的情况下，我们有理由认为该被试的属性掌握模式恰好与这些“特殊的”理想反应模式中任意一种所对应的理想掌握模式的概率均等，故使用随机选取的方式对其进行处理是合理的。B方法参考了规则空间方法（R**）中的判别方法，对存在多个最小距离的情况使用B方法，合理地利用当前测验情境所提供的信息来辅助对被试属性掌握模式进行判别分类，这样能够尽量地减少误判的情况，提高认知诊断结果的分类准确率。

四、应用海明距离判别法进行认知诊断分类

应用海明距离判别法进行认知诊断分类有两大步骤。

第一步，计算被试i的观察反应模式与每种理想反应模式之间的海明距离，并按距离最短原则对被试进行判别分类。

经过第一步，被试很可能会被分为两类：第一类被试能够找到与其观察反应模式的海明距离最小的理想反应模式，且该理想反应模式是唯一确定的；第二类被试虽然也能找到与其观察反应模式的海明距离最小的理想反应模式，但找出的理想反应模式并不是唯一的。其中，第一类被试通过第一步分析即可完成诊断分类，进而确定被试的属性掌握模式，而第二类被试则需要继续进行下面第二步的分析工作。第二步，运用R方法或B方法辅助进行判别分类，即采用R方法或B方法中的一种，以实现分类的目标。R方法简单易懂，不再赘述。下面重点介绍如何使用B方法对被试进行判别分类。

不难发现，第一类被试的判别分类结果实质上提供了关于此次测验情境中的各种理想反应模式的分布信息，能够较好地体现当前被试群体的能力分布特点，这些已有的信息将有助于对第二类被试的分类判别。例如，当被试i的观察反应模式同时与理想反应模式I1和I2的海明距离最小时，若第一类被试中I2的判别人数更多，则有理由认为被试的属性掌握模式是I2所对应的理想掌握模式的概率更大。故利用第一类被试的判别结果计算每种理想反应模式的后验概率，计算方法如下：

其中，N为当前被试群体的总人数，n为在这N个被试中属性掌握模式为第t种理想反应模式对应的理想掌握模式的被试人数。考虑到实际测验情境，被试样本的能力分布的不规则性，使得当前被试群体中属性掌握模式为第t种理想反应模式对应的理想掌握模式的被试人数可能为0，即Pt=0，对于此种情形，可以分为下面两种情况并进行相应的处理。

①与被试i的观察反应模式的海明距离相同且均为最小值的多个理想反应模式中，部分理想反应模式的Pt=0，此时仍可使用B方法。

②与被试i的观察反应模式的海明距离相同且均为最小值的多个理想反应模式的Pt均为0，则使用R方法对被试进行判别分类。

有研究者（DiBello，Stout，2007）认为，模型的参数应该足够复杂，以便提供尽可能多的诊断信息，但是在拟合数据的情况下，模型的参数也应该足够简单，以满足实践者的需求。因此，当两种认知诊断评价方法具有同等水平的分类准确性时，更加简单易用的认知诊断评价方法显然更佳，DINA模型就是其中的典型代表。与现有的认知诊断评价方法相比，这里所介绍的HDD方法在具有较高的分类准确率的同时，并没有引入额外的参数，具有零参数的特点，不需要进行参数估计。因此，可以避免由模型参数拟合及估计方法的误差而导致分类准确率下降的不良后果。与此同时，不需要理解模型参数特点及进行参数估计也使HDD方法的具体使用步骤非常简单。理论上，只要获取被试的实际作答反应数据，进行简单的加减运算即可对被试进行诊断分类。运用HDD方法还可以大大降低中小学一线教师理解和实施认知诊断评价的难度，有助于认知诊断测验的推广和应用。但零参数的特点有利也有弊，弊在于HDD方法无法同其他认知诊断方法一样获得项目参数，也就无法实现对项目性能的量化描述。因此，在1、0计分的认知诊断测验中，当需要获取项目参数时，可考虑使用其他认知诊断方法。另外，该方法的应用有效性还需要在更多的实测数据支持下进行进一步的验证。

HDD方法中的B方法的分类准确率相对于R方法而言更高，但B方法对于样本容量较为敏感。当后验概率不准确时，B方法的分类准确率必然会受到影响，R方法便适用于此种情况。故建议在实施认知诊断评价时，当被试量较小时，可以使用R方法；当被试量较大时，则改用B方法可以得到更好的分类效果。

本章小结

在有了测验属性定义和测试样本数据后，通过合适的统计分析方法，就可以推断被试对测验属性的掌握状态，从而做出诊断性评价。统计分析方法可以描述和揭示被试特质水平、题目特性、题目属性与作答结果之间的逻辑关系。对这几者逻辑关系认识不同，就会产生不同的统计分析方法。即使对其逻辑关系认识相近，也可能会产生不同的实现路径。对分析方法本身复杂度的认识同样也会影响方法的建构模式。

实现认知诊断评价的方法或模型非常多，超过100个，每个方法或模型都有它的优势和不足。为此，我们提出选择某种合适的方法或模型的一些建议。首先，既简单又有效是模型或方法选择的最佳标准。有效是评价的目标，简单包括参数和实现过程的简化。许多方法或模型宣称具有更好的拟合度或精确性，如果根据其分析结果，这种改进只是在已经非常好的结果的基础上进行的微小改进，那么这类新模型的价值就不大，除非其显得更加简单。其次，适应性更强的模型是更好的选择。有些模型具有更好的拓广性，适用于更多的数据情境，甚至可以将许多模型作为其特例，那么这类模型就具有更强的应用价值。

参数化分析方法、半参数化分析方法和完全非参数化分析方法能够从不同的路径实现认知诊断评价的目标，并且有各自的优势和不足。

思考题

1。在认知诊断评价工作中，如何选择一个合理的认知诊断模型？

2。分析各类认知诊断模型在应用中的优势和劣势。