严和平 徐世娟 张举成 苟高章

摘要：采用SEC分析模式，从主题内容和认知水平两个维度分析2018年初中化学学业水平考试试题与《义务教育化学课程标准（2011年版）》的一致性。数据表明：2018年云南省初中化学学业水平考试试题P值为0.7659，小于参考值0.8530。結果表明：作为本研究样本的2018年云南省初中化学学业水平考试试题与课程标准之间不具有统计学意义上的显著一致性，且两者在主题内容和认知水平上的分布吻合程度均较低。最后对影响一致性研究的因素进行了讨论。

关键词：一致性;课程标准;SEC模式;初中化学学业水平考试

文章编号：1008-0546（2019）10-0031-05 中图分类号：G632.41 文献标识码：B

doi：10.3969/j.issn.1008-0546.2019.10.008

近年来，世界各国普遍推行基于标准的教育改革，我国于2011年完成了义务教育化学课程标准的修订。《义务教育化学课程标准（2011年版）》（以下简称“课标”）是义务教育阶段九年级化学课程实施的指导性文件，它不仅规定了化学学科的课程性质、课程基本理念、课程设计思路、课程目标、课程内容、课程实施建议，而且是教材编写、教学、评估和考试命题的依据。因此，在新课程改革理念的指导下，作为我国学业评价主要体现方式的学业水平考试，则必须要以课程标准作为导向与重要依据，可见“基于课程标准”的教学研究势在必行。在这一改革运动中，评价和课程标准的一致性问题引起了广泛关注。目前，关于初中化学学业水平考试与课程标准的一致性研究论文中，没有关于云南省初中化学学业水平考试与课程标准的一致性研究。笔者选择从定量的角度对2018年云南省初中化学学业水平考试试题（以下简称“试题”）与“课标”吻合程度进行分析，揭示两者的一致性水平，为命题改进提供参考依据，同时为云南省初中化学学业水平考试的评价工作提供参考依据。

一、研究对象和研究工具

1.研究对象

以云南省2018年初中化学学业水平考试试题为研究对象，该试卷总分为100，考试时间90min。全卷四个大题，共28个小题，共8页。第1卷为选择题，45分;第Ⅱ卷为非选择题，55分。第Ⅱ卷设置填空与简答33分、实验与探究16分、分析与计算6分，全部试题列入统计范围。

2.研究工具

本研究采用美国威斯康辛教育研究中心研究人员安德鲁·波特（Andrew Poter）和约翰·史密森（JohnSmithson）等人研制的Surveys of Enacted Curriculum（以下简称“SEC”）分析模式。

二、研究过程

1.主题内容的确定

主题内容的确定与分类主要根据课标和相关文献，课标将主题内容划分为五大领域，分别是“科学探究”“身边的化学物质”“物质构成的奥秘”“物质的化学变化”和“化学与社会发展”，本研究的“科学探究”仅包含“学习基本的实验技能”。

2.认知水平的确定

参照文献[9]、[10]，认知水平的层次从低到高划分为“知道”“认识”“理解”三个层级。

3.二维矩阵表的构建

根据对主题内容和认知水平所做出的标准规划，构建得到本研究“SEC”分析模式“主题内容×认知水平”的二维矩阵表，然后对试题和课标分别编码。

4.研究编码

（1）课程标准编码

对“身边的化学物质”“物质构成的奥秘”“物质的化学变化”和“化学与社会发展”“科学探究”等五个一级主题用i进行编码，其中i=1，2，3，4，5;依据在一级主题中出现的顺序，用i对二级主题进行编码，其中i=1，2，3……依据在二级主题中出现的顺序，用k对具体目标进行分编码，其中k=1，2，3……由此形成课程标准的编码，例如，“身边的化学物质”主题中的第二个二级主题“水与常见的溶液”下的第9个具体目标“能说出一些常见的乳化现象”编码为1.2.9。同时，用I、Ⅱ、Ⅲ对认知水平按从低到高的顺序进行编码，即I、Ⅱ、Ⅲ分别对应“知道”“认识”和“理解”三个水平层级，例如，具体目标“能说出一些常见的乳化现象”的行为动词为“说出”，属于“知道”水平，故认知水平编码为I。依据以上编码原则，编码者为一位化学副教授和一位从事中学化学教学十九年的中学一级教师，二人对课程标准独立进行编码，编码得到的数据用SPSS软件处理，计算皮尔逊（pearson）相关系数，结果见表1。

相关系数表明本研究的编码数据具有很好的稳定性和可靠性，然后二人对双方存在的分歧点一一讨论，从而得到最终的编码数据，同时对数据进行标准化处理，结果见表2。

（2）试卷编码

依据文献[9]、[10]的编码原则，对试题按照“主题内容×认知水平”二维矩阵进行编码，利用sPSs统计软件进行统计分析，计算出皮尔逊（Pearson）相关系数，结果见表3。两位对双方存在的分歧点一一讨论，从而得到最终的试卷编码数据，同时对数据进行标准化处理，结果见表4。

5.数据统计分析方法

利用Excel 2007进行数据统计分析、SPSS 19.0软件计算皮尔逊（Pearson）相关系数，采用Matlab软件进行波特（Porter）一致性系数的计算。

三、结果与分析

1.试题与课标一致性系数参考P值计算

参考Gavin的研究思路，根据刘恩山等的研究方法，使用Matlab软件将86个课程标准主题随机赋值到5x3的矩阵中，同样将试卷总分随机赋值到另一5x3的矩阵中，通过标准化处理得到P值，再对该程序重复20000次操作，得到正态分布P值均值以及95%水平参考P值，如表5所示：

在此正态分布曲线中，要达到0.05水平的统计显著性：当试卷总分为100分时，需要P大于或等于0.8530;即当试卷面总分为100分时，两矩阵的波特一致性系数大于或等于0.8530时，说明它们具有统计学意义上的显著一致性。

2.试题与课标一致性P值

把表2和表4中的数据代人Porter一致性系数公式中计算，得到试题JP值为0.7659，小于参考值0.8530，数据表明，作为本研究样本的试题与课标之间不具有统计学意义上的显著一致性。

3.试题内容主题的考查情况分析

用表2和表4中各主题内容分布比率作图，结果见图1。

图1表明，试题对各主题内容考查分数的权重为：身边的化学物质40.5%、物质构成的奥秘21.0%、物质的化学变化20.0%、化学与社会发展11.75%、科学探究6.75%。身边的化学物质、物质的化学变化这两个主题内容在“课标”中所占权重分别为37.2%、11.6%，试题对这两个主题内容的考查权重明显高于课标的要求;对于化学与社会发展和科学探究这两个主题内容，在课标中所占权重分别为18.6%和11.6%，试题对这两个主题内容的考查权重明显低于课标的要求;在物质构成的奥秘这一主题内容，试题对其考查权重与课标的要求基本一致。总体来看，试题对课标中要求的五个主题内容都有所考查，但对身边的化学物质这个主题内容的考查明显高于其他四个主题内容，是学业水平考试的重点内容。

4.试题认知水平的考查情况分析

用表2和表4中各认知水平分布比率作图，结果见.图2。

从图2可知，试题对各认知水平考查分数的权重是：知道43.75%、认识40.0%、理解16.25%。课标对认识水平的要求权重最大，其次是知道，对理解水平的要求最小。在认知水平的设置上，试题和课标对理解水平的权重都是最小的，对知道和认识水平的权重都较大。在知道和理解水平上，试题分布比率明显大于课标，而在认识水平上，试题分布比率小于课标。总体来看，试题对知识点的考查主要集中在知道和认识水平的较低层级上。

5.试题差异性分析

（1）试题主题内容上的差异性分析

以试题表4与课标表2的各主题内容比率差值为纵坐标，各主题内容为横坐标作图，得到试题和课标在各主题内容的比率差值柱状图，如图3所示。

从图3可以看出，与课标比较，试题对各主题内容的考查有偏差。试卷与课标在各主题内容的比率绝对差值在0.001-0.084区间。其中，对物质的化学变化和身边的化学物质两个主题内容的考查要求超过课标，对化学与社会发展和科学探究两个主题内容的考查低于课标，物质构成的奥秘主题内容的考查与课标要求相对吻合。在吻合度低的四个主题内容中，物质的化学变化这个主题内容的考查超标8.4%，化学与社会发展主题内容的考查降低6.85%，是导致试题与课标一致性不够的主要因素。

（2）试题认知水平上的差异性分析

以试题表4与课标表2的认知水平比率差值为纵坐标，各认知水平为横坐标作图，得到试题和课标在各认知水平的比率差值柱状图，如图4所示。

从图4可以看出，与课標比较，试题对各认知水平的考查有偏差。试卷与课标在各认知水平的比率绝对差值在0.0305-0.077区间。其中，对知道和理解水平的考查超过课标要求，对认识水平的考查低于课标要求，且在三个认知水平中，认识水平的考查降低了7.7%，是三个认知水平中差异绝对值最大的一个，也是导致试题与课标一致性不够的主要因素。

四、结论与讨论

1.结论

（1）试题和课标不具有统计学意义上的显著一致性。

利用“SEC”分析模式对试题与课标的一致性进行分析和统计，结果显示试题P值为0.7659，小于参考值0.8530，表明试题与课标之间不具有统计学意义上的显著一致性。

（2）试题与课标在主题内容上的分布吻合程度较低。

试题与课标在主题内容一致性水平上有一定差异。主要特征为：试题加大了对物质的化学变化和身边的化学物质两个主题的考查力度，降低了对化学与社会发展和科学探究两个主题的考查力度。

（3）试题与课标在认知水平上的分布吻合程度较低。

试题与课标在认知水平上的分布上有一定差异。主要特征为：试题加大了对知道和理解两个水平的考查力度，降低了对认识水平的考查力度。

2.讨论

影响试题与课标一致性的因素是多方面的，笔者结合自己的研究经历、相关文献，将影响一致性的因素归纳如下：

（1）课程标准的主题内容表述因素

部分试题在课标中不能找到很好的主题内容归属。例如：试题第II卷（非选择题）中的第22题的第①小题，题目如下：

本题在课本上的出处属于第六单元《碳和碳的氧化物》中课题1“金刚石、石墨和C60”，第107页明确书写“石墨可用于制铅笔芯”。当笔者把本题考查的知识点归入课标的主题内容时，在课标中，“金刚石、石墨和C60”的学习情境素材在“三、物质构成的奥秘”中“（一）化学物质的多样性”，标准表述如图6所示：

在标准中，从1-4条的叙述可以看出，要把试题第22题中的第①小题归人“物质构成的奥秘”主题内容中是不妥的。笔者翻阅了课标所有的主题内容，把试题归入其他主题内容也颇为不妥，因此，有待于对课标的表述进行细化。

（2）构建二维矩阵分析表的原则性

不同的研究人员对科学探究主题内容的划分不尽相同。科学探究主题中的“（一）增进对科学探究的理解”主要是体验性目标，由于体验性目标更适合用表现性评价等方式进行检测，纸笔测验难以对其进行检测，所以对体验性目标不予考虑。文献[9]认为：科学探究主题中的“（一）增进对科学探究的理解、（二）发展科学探究能力”所包含的目标内容在课标中没有明确的行为动词分类指标，所以对于科学探究这个一级主题只把“学习基本的实验技能”和“完成基础的学生实验”这两个二级主题纳入二维分析表的主题内容这个维度里。文献[10]指出，身边的化学物质、物质构成的奥秘、物质的化学变化和化学与社会发展四个主题或多或少包含着与实验相关的具体目标，科学探究主题则集中了大部分有关实验的具体目标，所以将“与实验基础相关的具体目标”纳入科学探究主题，并重新命名为科学探究与实验基础。科学探究与实验基础中“增进对科学探究的理解”主要是体验性目标，“完成基础的学生实验”目标缺乏行为动词修饰，且过于笼统，故文献[10]对科学探究与实验基础主题中的“增进对科学探究的理解”和“完成基础的学生实验”两个二级主题不予考虑。

笔者依据对课标和教材内容的理解，结合参考文献[9]、[10]的观点，将与“（四）完成基础的学生实验”相关的具体目标纳入其余四个主题，科学探究主题仅仅包含“（三）学习基本的实验技能”，将科学探究主题的内容分列如表6：

从表6可以看出，在构建二维矩阵分析表时，不同的研究者对科学探究主题的处理是不相同的，这将会影响试题在归属时各主题内容的分值，也就会影响试题与课标的一致性。

运用sEc分析模式，通过构建二维矩阵分析表，使用Porter一致性系数作为衡量依据，以量化的方法从统计学的角度顺利完成了试题与课标的一致性研究。当然，本研究也有不够完善之处，从上述讨论中可以看出，细化课程标准、构建针对我国初中义务教育化学学科的本土化一致性分析工具，都具有重要的意义。