1、前言
基于网络和计算机技术的网上阅卷方式,有效提高了阅卷组织的管理水平和试卷评分的公平性和公正性。北京教育考试院自2004年以来,逐步在中招会考、社会化的证书考试和高考阅卷中采用了网上阅卷。
网上阅卷一方面改变了传统的纸笔阅卷方式,同时通过应用软件可以完整地记录阅卷过程中的各种数据、状态和结果。以往,我们一般着重于评卷结果,也就是考生成绩的数据源生成,以及评分过程中的误差分析和进度分析等数据源的控制。但是,深入开发网上阅卷系统软件的功能,进一步挖掘和生成可利用的数据源,对这些数据源进行深入的研究,将使网上阅卷系统发挥更大的作用,为试卷评阅的组织管理和教育教学的评估分析提供有价值的数据和有效的分析工具。
北京教育考试基网上阅卷数据源的拓展挖掘上,进行了初步尝试。我们通过对网上阅卷数据源的扩充和拓展,增加了评卷行为分析、评卷教师的组成分析,以及成绩知识点得分分析等内容。在组织网上阅卷的工件作过程中,一般都需要为阅卷系统提供考生卷面扫描信息、考生报名库、阅卷信息教师信息库等大量原始信息。根据这些原始信息,结合系统功能的开发,可以生成大量有价值的数据源,可供分析和应用。本文就我们已经做的尝试做简单的介绍。
2、评卷行为分析
当评卷教师完全面对网络和计算机环境进行阅卷时,就会产生有可能影响评分结果的行为差异。例如:评卷教师不同的阅卷速度、运用网上阅卷软件的熟练程度、面对计算机连续阅卷和实时质量监控所产生的不同生理和情绪反应等。
为了有效分析上述行为差异所产生的实际影响,科学地组织和管理网上阅卷工作,根据系统所能记录的评卷行为建立新的数据源,形成评卷过程的行为数据源。行为数据源的基本要素包括3个方面:
评卷操作及行为记录:评卷平均速度、每份试卷的有效阅读时间、两份试卷间的间隔、平均分情况、给发分布情况、出现双情况、误差及评分偏离情况等到。
影响评卷行为的管理因素记录:评卷员一天的总工作量、连续工作时间、总的工作天数、评卷员大小组长设置及评卷员分组设置情况、培训、试评、样卷情况等。
影响评卷行为的环境因素记录:教室内评卷员人数、计算机显示屏类型、通风、照明、饮水等。
通过对上述行为数据的统计分析,有可能找出造成阅卷误差或影响阅卷质量的主要行为以及对这些行为产生影响的因素,因而可以根据此进行调整以减少这些因素对阅卷质量的影响。例如可以指导网上阅卷系统的参数调整,包括环境准备、阅卷机房设置、网上阅卷系统功能完善、指导阅卷教师培训及阅卷行为准则的建立等。可以指导网上阅卷的组织工作,包括对阅卷速度及质量的调整、阅卷时间和进度的安排、工作量的分配、教师工作和休息时间的安排等。这样做的结果将会会减少环境对评卷教师的身心影响,提高整体工作的组织效率。
网上阅卷行为分析的结果用于指导网上阅卷的组织和管理,将使阅卷过程的感性管理方式变得更加理性化。
3、评卷教师组成分析
在网上阅卷逐步替代传统的纸笔阅卷方式过程中,应如何构建评卷教师队伍是我们应该考虑的一个问题。网上阅卷初期,大家对评卷教师的年龄结构和教师对计算机操作的熟练程度比较关注,因此普遍认为,实施网上阅卷以后,评卷教师的队伍一定要年轻化,大批有经验的才老教师有可能被拒之门外,从而又会担心评卷质量是否会下降。经过几年的实践发现,由于网上阅卷操作简捷,原有的顾虑并不构成对阅卷教师要求的主要因素,而在阅卷过程中,教师的教学经验、年龄、性别、单位类型等因素,以及在网上阅卷过程中的阅卷质量监控指标对阅卷的影响因素,是我们在教师组成研究中需要重点解决的。
在上述分析的基础上,进行定量的科学的分析,需要建立网上阅卷教师的自然属性及阅卷质量数据源,在该数据源中应包含的基本要素包括:
评卷员的评卷质量评价指标;平均分、标准差、给分分布情况、工作量等。
相关的评卷员自然属性:年龄、性别、学科、职称、职务、学历/学位、从事教学年限、单位内型(大学/中学)、手工/网上阅卷经验等。
上述要素信息包括了评卷员的自然信息,通过对这些自然住处与评卷员个体评卷质量影响的数学模型,形成年龄、职称、评卷经验等自然住处与评卷质量之间的关联关系,从而为网上阅卷评卷教师的选拔、培养、使用等管理提供指导。
4、成绩分析笔评价
日前所作的成绩分析主要用于命题的研究,缺少对学校和教师的教学的指导。网上阅卷的数据源,通过增加考生的学校、任课老师和知识点的相关信息,就可以针对学校、老师和学生的成绩进行分析评价,用于指导学校的教学工作。
统计指标包括单科分数、总分、平均分、标准分、排名、标准差、难度、信度、区分度等。还可以包括班级成绩对比统计、考生成绩轨迹统计、基于知识点的成绩统计、基于知识点的成绩统计等。统计对象包括考生个人、班级、学校、任课教师等。
高考、中学会考等统一考试的成绩信息,一方面反映出学生个体对知识的掌握情况,同时,根据试卷得分情况的综合分析,能清晰反映不同学校、不同地区、不同教师在教学过程中的知识差异、重点差异、学生群体的学习差异等情况。因此,成绩分析评价的数据资源拓展方面,结合考生成绩库、考生报名库、考生选送学校、地区等到相关信息,利用数据关联和代码字典,增加了综合分析的扩展功能。
成绩分析评价数据的使用对象包括区县、学校、教师和考生。对城于学校,通过评估报告可以清晰地了解教学质量,根据报告反映的问题,及时采取措施,对症下药,及时解决教学中存在的问题,此外,也可以把报告反映的结果作为教师之间教学情况横向比较的依据;对于教师,可以促进教师之间的相互交流和学习。可以了解同年级老师的教学成绩、教学排名等各项指标;以及每个学生的各次考试的成绩、整体排名、知识点掌握情况、进步轨迹等情况;可通过各类评估指标对比,发现自己教学过程存在的问题,并据此对教学方法和重点做出合理的改进或调整,针对学生知识点的掌握情况进行重点教学。对于考生,可以根据各次的考试的成绩,、知识点的掌握等信息,了解自己的优势和不足,有的放矢地进行学习。
5、结束语
网上阅卷不仅提高了阅卷的公平性和公正性,同时,还可以根据实际需要不断扩充原始数据的采集。通过系统功能的改进拓展和生成出新的数据源,从而为更深层次地利用和分析提供依据。这些研究可以指导和必进网上阅卷的管理,提高网上阅卷质量,可以更有针对性。我们认为网上阅卷数据源的拓展和应用方面还有许多课题值得研究。 |