项目反应理论(IRT)模型依据项目与被试的特征预测被试的作答表现,是常用的心理测量模型。但IRT的有效运用依赖于所选用IRT模型与实际数据资料相符合的程度(即模型?资料拟合度,goodness of fit)。只有当所采用IRT分析模型与实际数据资料拟合较好时,IRT的优点和功能才能真正发挥出来(Orlando&Thissen,2000)。而当所采用IRT模型与资料不拟合或选择了错误的模型,则会导致如参数估计、测验等值及项目功能差异分析等具有较大误差(Kang,Cohen&Sung,2009),给实际工作带来不良影响。因此,在使用IRT分析时,应首先充分考察及检验所选用模型与实际数据是否相匹配/相拟合(McKinley&Mills,1985)。IRT领域中常用模型?资料拟合检验统计量可从项目拟合、测验拟合两个角度进行阐述并比较,这是心理、教育测量领域的重要主题,也是测验分析过程中较易忽视的环节,目前还未见此类公开发表的文章。未来的研究可以在各统计量的实证比较研究以及在认知诊断领域的拓展方面有所发展。
当前国内外开发的认知诊断模型基本上只能处理单策略的测验情景,并假设所有被试均采用同一种加工策略/解题策略,从而忽视了加工策略的多样性及差异性。本研究根据de la Torre和Douglas(2008)采用多个Q矩阵来表征多个加工策略的思想,并结合使用丁树良等(2009)修正的Q矩阵理论及孙佳楠,张淑梅、辛涛和包珏(2011)的广义距离判别法,开发了一种新的多策略认知诊断方法——MSCD方法。Monte Carlo模拟研究结果表明:在单策略测验情景下,传统的单策略认知诊断方法与采用MSCD方法的诊断正确率均比较理想,且差异不大;但在多策略测验情景时,传统的单策略认知诊断方法诊断正确率较低,而MSCD方法的诊断正确率却仍较理想;当加工策略增至5种时,MSCD方法仍有较高的边际判准率、模式判准率以及加工策略判准率。研究表明MSCD方法基本合理、可行。这为实现对加工策略的诊断提供了方法学支持,有利于拓展认知诊断在实际中的应用。
