陈陌

摘  要：依照教學目的进行划分，把课堂上的教学互动分为3类：检验互动、启发互动和测试互动。针对其中测试互动类问卷，预留过短的答题时间会影响问卷信度，过长的答题时间又会影响课堂满意度。该文结合近3年的课堂实践数据，以层次分析法和价格敏感测试法为对象，重点分析了327个样本答题时长和一致性系数之间的关系，发现：首先课堂上答题时长和问卷信度并没有正相关性，其次平均答题时长近似服从均值为8.4 s，标准差为3.6的正态分布，最后建议数据分析类课程应开设在低年级学期。

关键词：数据分析  测试互动  答题时长  一致性系数  问卷信度  正态分布

中图分类号：G642                         文献标识码：A文章编号：1672-3791（2021）05（c）-0011-06

Analysis on Test Questionnaire Length from College Data Analysis Type Courses

CHEN Mo

（School of Management， Tianjin University of Commerce， Tianjin， 300134  China）

Abstract： Divided by teaching goals， teaching interaction has three types： verification interaction， enlightenment interaction and test interaction. Aiming at test interaction questionnaire， too short answer time will lower questionnaire reliability， and too long answer time will lower student satisfaction. This paper analyzes the relationship between answer length and consistency coefficient in the past three years from 327 samples， based on Analytic Hierarchy Process and Price Sensitivity Measure. First， there is not positive correlation between class answer length and questionnaire reliability. Second， average answer length nearly obeys a normal distribution with mean 8.4 seconds and standard variance 3.6. Last， data analysis class should open in junior grade.

Key Words：Data analysis; Test interaction; Answer length; Consistency coefficient; Questionnaire reliability; Normal distribution

随着信息的愈加多元化，大数据资深分析专家和决策经理分析师的缺口均在几十万和上百万人[1]，因此我国很多高校都会要求不同专业学生学习该类课程，但是侧重点有所区别，比如有的侧重商业数据分析，有的侧重统计类分析，还有的侧重机器学习预测，等等[2]。现今高校的很多课程都越来越重视互动教学[3]，其中在数据分析类课程中体现的特别明显[4]。相应的，一些教学辅助软件也为互动教学配置了相应功能模块，以雨课堂为例，就包括单选题、多选题、填空题和主观题4种方式[5]。互动教学的目的可以分为3类，第一类可以概括为检验互动，它的主要作用是通过少量试题来检验学生当堂的听课效果，同时可以对走神的同学起到警示作用。第二类为启发互动，它通过一个引导问题让同学进行发散思维，分析大家的答案后再引出下面要讲授的问题。第三类为测试互动，它通过设计问卷来测试学生对知识的掌握程度，也可以让学生结合所学知识对自己的数据进行分析，达到巩固练习的目的。

数据分析类课程需要学生一定的参与度，因此通过课堂测试互动来布置作业是教师的一个常用手段，相比抽取题库里的作业，这种方式更能提高学生的兴趣。测试互动在课堂应用中面临的主要问题是问卷长度与问卷信度的权衡[6]，Jepson等研究者在2005年研究了问卷长度与答题人回应比例的关系，发现问卷过长的话回应比例明显下降[7]。另外，Yan等研究者在2010年指出有影响受访者作答的因素主要有3个：（1）预留的答题时间;（2）实际问卷的长度;（3）是否有答题进度提示[8]。但以上研究没有阐述如果问卷长度适中，预留多长答题时间的问题。在实际课堂上，教师会尽可能给学生留出时间让所有同学都完成问卷，期望可以收到质量更高和更多的数据，但同时部分学生也会认为过长的答题时间对部分较早完成的同学产生一种不公平，降低了课堂满意度[9]。

从执行情况来看，答题时间较长的问卷也会出现信度较低的情况，当然如果答题时间过短，问卷的信度也肯定是无法保证的[10]。该文拟结合近3年来数据分析课程的实践数据，从测试问卷答题时长和信度的角度进行研究和分析。

1  样本描述

1.1 样本选取

样本分别来自2018—2019第二学期、2019—2020第二学期和2020—2021第一学期的“商业数据基础分析”课程，该课程设立在第三学期，学生均为在校大二的学生，学生总数为218人。由于测试互动都是在课堂上进行的，无法做到反复询问进而测试问卷信度，因此特别地选取层次分析法（AHP）和价格敏感测试法（PSM）作为分析对象，原因在于AHP可以在结果分析中通过一致性系数CR来判断每个人所答问卷的信度，而PSM也可以通过题目中预设的逻辑判断关系来进行信度判断。

Rolstad等研究者在2011年做了关于病人问卷长度和答题负担的研究，结论是问卷内容和质量是影响答题负担的决定因素[11]。周鹏生在2009年研究了问卷长度和项目性质的关系，发现问卷内容和所在位置会对作答心向产生影响[12]。而AHP和PSM作为非常成熟的方法，在问题设计上是比较合理的，因此该文在后续分析中不考虑问卷内容对问卷信度的影响，主要分析的是时长和信度之间的关系。AHP方法在2018级和2019级学生中进行了测试，实际样本数分别为69人和65人，合计134人;PSM方法在2017级、2018级和2019级学生中进行了测试，实际样本数分别为64人、63人和66人，合计193人。

1.2 题型设计

1.2.1 AHP的测试互动设计

课堂上设计了教学和手机产品两个主题的层次分析法问题，其中教学是一个4阶的问题，包含教学内容、教学方法、教学态度和教学效果[13];手机产品是一个7阶的问题，包含外观、品牌、内存大小、电池容量、摄像头、屏幕大小和系统，评价时使用的是7级李克特量表[14]。

在AHP方法的设计中，除了自身之间的重要性不需要询问以外，4阶和7阶问题分别需要进行12道和42道的询问，显然让学生同一时间在课堂上作答54道重要性判别题是一个比较困难的测试，因此有必要在设计上做一些简化。假设学生不会出现正反误判，这样仅需要对判别矩阵中的上三角部分进行回答即可，下三角部分利用公式aij=1/aij得到。以教学矩阵为例（见图1），题目数量就由12道变为6道了，该处理方法将误判集中在三角误判上，同时大幅降低了答题数量。

1.2.2 PSM的测试互动设计

针对最新上市的苹果手机进行问卷测试，使用PSM中标准的4道问题进行询问[15]。Q1：该苹果手机以哪一个价格销售时您开始觉得便宜，乐意去购买？Q2：该苹果手机以哪一个价格销售时您开始觉得贵呢，仍然可以接受？Q3：该苹果手机以哪一个价格销售时您开始觉得太贵了，质量再好也不去购买呢？Q4：该苹果手机以哪一个价格销售时您开始觉得太便宜了，不相信它的质量，不买呢？

考虑到后期数据处理的便利性，没有采用让学生直接回答金额的方式，而是专门设计了两套答题形式，第一种是让学生在“万千百十个”位上对0～9这10个数字进行选择，这样后面进行单元格合并就可以获得学生在每道题所答金额。第二种是提前设定好价格档级，即最低3 000元，最高8 100元，每档间隔300元，让学生对每道题进行选择，这样后面也可以得到4道问题的答案。

2  测试结果分析

该文的目的是探求课堂答题时长和信度的关系，下面利用积累下来的数据对AHP和PSM两个方法的效度进行分析。这里认为不同年纪的学生在样本上是同质的，因此AHP一共有134个样本，PSM一共有193个样本。

2.1 AHP的测试分析

AHP测试中学生同时对教学和手机两个问题进行了作答，在问卷中只有一个答题的总时间，这里就按照6道和21道的比例来分配学生在两个问题中的总答题时长，文章中图2和图3分别表示教学和手机两个问题中答题时长和一致性系数CR的关系。

圖2中答题时长大多位于10～100 s之间，平均答题时间是55.1 s，平均CR值为0.30，AHP中认定一致性是可以被接受的标准是CR小于0.1，但是在实际测试中发现大多样本的CR指都是要超过0.1的，相对较高的几个样本中，答题时长在40～60 s区间较为集中，每题时间为8～10 s，剩下样本的CR值分布较为平均。

图3中答题时长主要分布在40～360 s，平均答题时长为192.9 s，平均CR值为0.39，高CR值的样本在110～210 s区间内较为集中，每题时间为5.2～10 s。

下面通过气泡图来观察学生在教学和手机两个问题上CR值的相关性，具体见图4。横轴表示学生在教学问题的CR值，纵轴表示学生在手机问题的CR值，气泡大小表示学生平均每题的答题时长。考虑到手机问题和教学问题CR的比值约为1.3，因此图中添加了一条y=1.3x的辅助线。观察到教学问题CR值在0.6及以下时，由x=0.6、y=0.78、x=0和y=0组成的区域①中，这些点是近似围绕在y=1.3x附近的，说明大约有80%的学生做出的一致性判断是符合认识规律的。在②和③两部分区域中，通过观察气泡的大小，可以发现在这两个区域内有面积很大的气泡，说明一些学生在耗时较长的情况下，答题一致性却比较差。

2.2 PSM的测试分析

PSM方法中Q1～Q4四道问题应该遵守的逻辑顺序是Q3>Q2>Q1>Q4，一般情况下如果符合这个逻辑，样本中所答的数值就会被采纳，否则该样本的答案会被剔除，利用这个逻辑关系，设计了一个衡量样本一致性系数CP的公式。

（1）

式中，CP表示样本的一致性系数;Nc表示括号中6个不等式成立的个数（Q3>Q2， Q3>Q1， Q3> Q4， Q2>Q1， Q2>Q4， Q1>Q4），。学生一共对两套问卷进行了回答，第一套问卷一共是20道题，第二套问卷是4道题，在度量样本一致性时取两套问卷的平均值，下面给出学生在PSM上平均答题时间和一致性系数CP的散点图，具体见图5。

横坐标是每个样本的平均答题时长，可以看到平均时长大多分布在4～10 s，纵坐标表示一致性系数CP，CP值越低说明一致性越好，取值方向与CR值是一致的，右上角表格是不同CP的样本量占总样本量的百分比，可以发现有62.7%的学生作答是完全符合PSM逻辑要求的，0.17及以下的占比为80.3%，样本的不良率还是比较低的。

3  测试结果总结

3.1 AHP的分析总结

（1）剔除过快和过慢以及CR值过高的学生，教学问题的平均答题时长在9.1 s，手机问题的平均答题时长在9.2 s，很接近。

（2）教学问题CR值较高的学生答题时长在8～10 s，手机问题CR值较高的学生答题时长在5.2～10 s，可以发现CR较高学生的答题时长也是分布在均值附近的。

（3）从数据图可以看到，较短的答题时长与较高的CR值没有必然关系，同时较长的答题时长与较低的CR值也没有必然关系。

3.2 PSM的分析总结

（1）所有样本的平均答题时长是7.9 s。

（2）CP值较高样本的答题时间分布在4～10 s这个区间，有75%样本答题的时长也是落在该区间。

（3）平均时长在4 s以下的样本同时出现了高CP值和低CP值，平均时长在10 s以上样本的CP值主要分布在0档和0.25档，较长答题时长的样本分布相对集中，同时较长答题时长与较低CP值没有必然关系。

4  结论

通过3年的数据分析课程追踪，该文选取了AHP和PSM两个方法进行深入分析，目的是来对课堂上测试问卷的时长给出建议，同时也有了一些该类课程的建设心得，下面逐条进行阐述。

（1）从AHP和PSM的数据分析结果来看，问卷的答题时长与问卷答题质量之间没有正相关性，为了高完成比率而过度延长答题时间反而会将降低课堂的满意度。

（2）绘制了AHP和PSM一共327个样本的平均答题时长分布，具体见图6。横坐标的范围由327个样本的最小值和最大值决定，间隔了20组，每组间距1.1。左侧纵坐标表示模拟的正态分布概率值，右侧纵坐标表示每组的频数。可以发现，平均答题时长是接近服从均值为8.4，标准差为3.6的正态分布，则在95%的置信度下，平均时长的置信区间为[8.03， 8.81]，据此可以预估课堂测试互动的预留总时长。

（3）数据分析类课程还是尽早设立比较好，在课程建设时也有专家建议应该在统计类课程之后，一般来说是作为专业课放在第五学期，但是后面经过实践和学生调研，发现开设课程的时间需要提前，主要有两点原因。一是一般学生日常学习和实习接触到的数据分析，对于统计知识的要求并不高，掌握一些均值方差和分布的概念就可以了，没有必要太过强调统计知识的储备;二是目前像大学生创新创业训练计划（简称大创）之类的比赛参与度非常高，比賽的时间一般都是在春季学期，该课程的设置的时间点正好可以为大二学生打好数据基础。

参考文献

[1] 何海地.美国大数据专业硕士研究生教育的背景、现状、特色与启示——全美23所知名大学数据分析硕士课程网站及相关信息分析研究[J].图书与情报，2014（2）：48-56.

[2] 周傲英，周烜.数据专业人才培养方案与核心课程体系建设[J].中国大学教学，2020（6）：15-21，33.

[3] 王林平，高云涌.用科学的教学互动激发思政课课堂活力[J].中国大学教学，2020（11）：28-32.

[4] 沈玖玖，徐萍，张琴，等.大数据时代高校数据素养课程群构建研究[J].图书情报工作，2019，63（19）：66-74.

[5] 王成功，王君，曾雪莹，等.基于雨课堂的混合式教学在高校足球教学中的应用[J].当代体育科技，2020，10（32）：118-121，124.

[6] 赵志裕，康萤仪.问卷长度与作答型式的关系[J].心理学报，1988（1）：15-19.

[7] Jepson C，Asch D A，Hershey J C，et al.In a mailed physician survey， questionnaire length had a threshold effect on response rate[J].Journal of clinical epidemiology，2005，58（1）：103-105.

[8] Yan T，Conrad F G，Tourangeau R， et al. Should I Stay or Should I go： The Effects of Progress Feedback，Promised Task Duration，and Length of Questionnaire on Completing Web Surveys[J].International Journal of Public Opinion Research，2010，23（2）：131-147.

[9] 马莉萍，曹宇莲.同步在线教学中的课堂互动与课程满意度研究——以北京大学教育博士项目为例[J].现代教育技术，2020，30（8）：15-25.

[10] 柯友枝，孙建刚，张业安，等.问卷是否可信——基于体育核心期刊论文（2010—2018年）的系统分析[J].体育科学，2020，40（2）：90-97.

[11] Rolstad S， Adler J， RydEn A.Response Burden and Questionnaire Length： Is Shorter Better？ A Review and Meta-analysis[J]. Value in Health，2011，14（8）：1101-1108.

[12] 周鹏生.问卷长度、问卷项目性质与作答心向的关系[J].西北民族大学学报：自然科学版，2009，30（3）：82-85.

[13] 蔡红梅，许晓东.高校课堂教学质量评价指标体系的构建[J].高等工程教育研究，2014（3）：177-180.

[14] 王彩珍，李彬彬.基于数学模型对手机产品质量的分析[J].河南城建学院学报，2018，27（2）：85-92.

[15] 杨和财，徐颢.葡萄酒价值认知及定价敏感区研究[J].中国酿造，2011（7）：188-191.