首页 >> 教育学 >> 普通教育学
美国“课程实施调查”项目新进展:教科书与课程标准一致性分析模式研究
2020年12月31日 10:02 来源:《外国教育研究》2019年第7期 作者:李秋实 刘学智 字号
2020年12月31日 10:02
来源:《外国教育研究》2019年第7期 作者:李秋实 刘学智
关键词:课程实施调查;教科书;课程标准;一致性

内容摘要:

关键词:课程实施调查;教科书;课程标准;一致性

作者简介:

  作者简介:李秋实,东北师范大学教育学部博士生;刘学智,东北师范大学教育学部教授,博士生导师,教育学博士。吉林 长春 130024

  内容提要:“课程实施调查”是美国学者帕特等人研制的课程实施程度检测方法,该方法广泛应用于基础教育领域,成为课堂教学、学业评价与课程标准一致性水平分析的重要工具。美国学者摩根将“课程实施调查”方法运用在教科书质量评价中,进一步拓展了“课程实施调查”应用的新视域。一方面,为提升基于标准的教科书质量检测水平,对“课程实施调查”进行改造,在关注教科书一致性程度检测的同时,增加了教科书非一致性程度检测,构建了教科书与课程标准一致性分析模式。另一方面,以数学教科书为研究对象,运用教科书与课程标准一致性分析模式进行实证研究,进而验证该模式的实践效果。“课程实施调查”项目在教科书领域的应用和推进,揭示了基于标准的教科书评价本质,为教科书与课程标准一致性水平分析提供了新的分析框架和方法。

  关 键 词:美国;课程实施调查;教科书;课程标准;一致性

  标题注释:教育部哲学社会科学研究重大课题攻关项目“大中小学教材的一体化建设和管理研究”(项目编号:16JZD042)。

  [中图分类号]G423/712 [文献标识码]A [文章编号]1006-7469(2019)07-0015-14

  20世纪80年代末,为提高美国基础教育质量,由国家科学发展基金会(National Science Foundation,简称NSF)资助,公立学校主管理事会(Council of Chief State School Officers,简称CCSSO)下属的教育评估中心(State Education Assessment Center)、威斯康星州教育研究中心(Wisconsin Center for Education Research,简称WCER)和州协同计划(State Collaborative)三大研究机构共同组建了旨在推进“国家教育进展评估”(National Assessment of Educational Progress,简称NAEP)的研发团队,开始启动“课程实施调查”(Surveys of Enacted Curriculum)项目。历经30年的探索与发展,“课程实施调查”已成为美国实施全国性课程质量检测可靠且有效的方法,被广泛应用于多重背景的课程研究,成为美国分析和解释各州、地区以及不同学校之间教学、评价与课程标准间一致性问题与差异的重要工具。[1-2]近年来,WCER作为CCSSO的科研合作伙伴,将“课程实施调查”研究转向与教科书相关课程的实施,[3]研发了评估和改进美国基础教育教科书质量的一致性分析模式。

  一、美国教科书与课程标准一致性分析的实证探索

  一直以来,美国基础教育课程改革的浪潮总伴随着大众对教科书改革滞后性的不满。自“核心标准”颁布后,美国教科书供应商多数都按照教科书市场需求的改变,或调整已有版本教科书使其与“核心标准”相一致,或依据“核心标准”重新编制新版教科书。但新版教科书在教学使用中却引发了学校师生对教科书改革质量的质疑,教师们发现期盼已久的新版教科书相对以往并无实质性不同,对新版教科书能否很好地贯彻传达此次课程改革目标产生了疑问。尽管为保障此次基础教育教科书改革的实施质量,CCSSO和美国州长协会最佳实践中心(National Governors Association Center for Best Practices,简称NGA)发布了教科书相关出版准则来规范教科书市场,着重强调教科书的核心内容要以聚焦“核心标准”为首要前提,但此次课程改革的精神和理念是否能够在这些声称与“核心标准”相符的教科书中得到真正落实,还需要对各版本教科书和课程标准进行一致性程度检测来验视。[4]

  2015年12月,摩根带领WCER和南加利福尼亚州立大学研究者展开了应用“课程实施调查”一致性分析工具进行教科书与课程标准一致性研究的调查实践,以掌握基于标准的课程改革在教科书这一课程实施层面上的落实程度。项目组织课程领域权威专家对来自三家教科书供应商的七本小学四年级数学教科书与“核心标准”、佛罗里达州“下一代阳光州立标准”的一致性状况进行了深入的测量评估与分析诊断。

  依据本次美国小学四年级数学教科书与课程标准一致性研究进程,实践动态呈现如下三个层面:(1)教科书与课程标准的一致性程度检测,考查教科书在多大程度上与课程标准相符合;(2)教科书与课程标准的非一致性程度检测,分析教科书与课程标准存在的偏差与成因;(3)以不影响数据质量和研究信度为前提,探究教科书与课程标准一致性分析模式是否可以进行一定程度的简化。

  (一)基础测评:教科书与课程标准一致性程度检测

  1.教科书与课程标准的一致性

  美国此次对不同版本小学四年级数学教科书与课程标准一致性的研究发现,“核心标准”版教科书与“核心标准”的一致性系数区间为0.294~0.396,表明教科书内容与“核心标准”具有约28%~40%的一致性。佛罗里达版教科书与“下一代阳光州立标准”的一致性系数区间为0.255~0.420。结果都和教科书一致性系数所设立的最优值(0.5)存在一定差距。

  不过,值得注意的是,教科书一致性结果的普遍性系数要高于《不让一个学生掉队法》提出的学业评价与课程标准,以及课堂教学与课程标准的典型一致性指数。[5]产生这一结果的原因可能有以下两个:(1)教科书分析项目的数量比一般标准或测验占据更多的编码单元格,项目数量的增加导致研究结果一致性指数增高;[6](2)教科书内容分析要比其他文件的分析更简易有效,而这是因为教科书文本和问题所涵盖的学生认知需求相对来说更易于识别和区分。

  2.不同版本教科书的一致性

  探究不同版本教科书一致性的目的主要是为了比较“核心标准”出台前后,教科书供应商对两个版本教科书的修订或改编程度,并相互配对比较以完善教科书产品质量信息。从评价国家标准或州级标准在教科书建设与改革的落实程度中获取的教科书产品质量信息,不仅可以为公众提供公开的教科书信息以便选择使用,也可为政府职能部门监管教科书市场提供相关证据支持。

  样本选取的三家教科书供应商都是美国基础教育领域知名的出版机构,多年来在全美具有十分广泛的受众市场,所出版的教科书一定程度上可以代表美国教科书市场的高质量水准。我们不难发现,来自三家供应商的七本小学四年级教科书并没有如供应商在产品官方网站和销售中所声称的“完全符合课程标准”。虽然根据不同数学标准编制了两个版本小学数学教科书,但每家供应商的两个版本数学教科书间存在高度的一致性系数(>0.6),即有60%以上的相似度,均高于相应课程标准的一致性水平。

  (二)系统深化:教科书与课程标准非一致性程度检测

  由于小学数学教科书与课程标准的一致性水平表现并不尽如人意,课程专家开始将科研目标聚焦于探查教科书不一致性产生的原因和因素来源,以期为调试教科书与课程标准偏差、改进教科书质量提供相关数据参考。非一致性研究系统地深化、分解了课程一致性和非一致性领域,得出了存在非一致性区域的结论。

  1.教科书与课程标准的非一致性

  在计算教科书与课程标准的非一致性系数时,课程专家开发了另一种以5%教科书内容为基准的一致性标准取值公式,即替代一致性系数(Alternative Alignment Index)。[7]研究发现,教科书与课程标准非一致性来自于以下两个方面的偏差系数:一是内容话题非一致性(misaligned on topic);二是学生认知需求非一致性(misaligned on cognitive demand)。因此,须分别从教科书内容和标准内容两个维度进行判断。[8]

  以教科书内容划分维度解释,四本教科书的学生认知需求非一致性系数在0.15左右,教科书内容话题非一致性系数在0.049~0.196之间,表示5%~20%的教科书内容话题不存在于标准之中。以标准内容划分维度解释,学生认知需求非一致性系数分布在0.108~0.147区间,标准的内容话题非一致性系数在0.50~0.96之间,这说明大约有5%~10%的标准内容话题在四本教科书中没有被覆盖。

  2.学生认知需求的非一致性

  学生认知需求是教科书与课程标准非一致性的一个重要区域。数学学科的学生认知水平从低到高可以划分为以下五种水平:识记;运算程序;阐明、解释;推测、分析、归纳、证明;解决非常规问题、建立联系。[9]非一致性研究检测了七本教科书与课程标准在这五种认知需求水平上的分布情况。

  调查发现以下问题:(1)各版本小学数学教科书普遍存在过于关注低层次水平认知需求的现象,教科书中“识记”和“运算程序”的比例总和占学生认知需求的87%~93%,远高于课程标准要求的60%;(2)教科书对中级层次“阐明、解释”的认知需求系数(7%~13%)没有达到课程标准的占比要求(33.3%);(3)教科书中高层次认知水平覆盖率远远不足,“推测、分析、归纳、证明”和“解决非常规问题、建立联系”所占比例约等于0%,这代表研究取样的七本小学数学教科书基本没有提供给学生高层次认知目标的学习机会。

  (三)模式改进:教科书与课程标准一致性分析模式简化

  教科书与课程标准一致性分析模式作为非介入性量化内容分析方法,存在价值中立、规则清晰、计量精确等明显优势,但同样也存在一定的本然性局限。简化教科书一致性分析模式的缘由主要出于以下三方面的考虑:(1)减轻成本投入。相关研究显示,使用“课程实施调查”一致性工具分析一本教科书约花费1万美元和200小时的人均成本。[10](2)提升一致性工具的可行性和使用性。在不影响分析数据质量的前提下提升方法性优势,使大规模教科书分析成为可能。(3)减轻内容分析专家的执行负担,提高编码工作效率。尽管参与教科书内容分析的人员都是经过系统培训、具有10年分析经验的编码专家,但承担的工作依然强度过高、负荷过重。基于以上现实需要,课程专家展开了对教科书一致性分析模式简化与改进的实践探索。

  1.模式简化的方法

  课程专家经过对小学数学教科书内容比率的重新评量与计算,提出了教科书一致性模式简化的八种方法,分别是:(1)仅文本,每课的文本框,不包括问题、介绍、复习和测验;(2)仅问题,主要部分、介绍、复习和测验的问题,除了文本,与方法1相反;(3)教科书的主要部分,每课时的文本和问题,不包括介绍、复习和测验;(4)介绍、复习和测验,除了主要部分的文本和问题,与方法3相反;(5)每3个问题;(6)每5个问题;(7)每7个问题;(8)每10个问题。[11]其中方法5至方法8中所分析的问题皆出自方法2。

  八种简化方式在减少编码比率上呈现出较大的差异性。例如采用“仅问题”的方法分析教科书并不能有效减轻编码比率(<10%)。相反,分析“每10个问题”或者本文部分可减少平均90%的编码负担。简化方法为分析“每3个问题或每5个问题”则可减少70%以上的编码比率。考虑到组块数量与实际编码时间之间本质的线性关系,这可能会节省数千美元以及100多小时的成本。

  2.简化方法的系数

  上述研究表明,模式的简化可以在一定程度上提高研究者和实施者使用“课程实施调查”一致性工具进行大规模教科书一致性分析的可行性和可操作性。但简化方法是否会影响教科书与课程标准一致性评估的结果,以及是否可以承担教科书评估效力的问题,还需要通过计算两者间的一致性系数来回答。

  首先,有课程专家分析了每种简化方法与整本教科书内容分析间的一致性指数,考察教科书运用八种简化方法进行分析与整本教科书内容分析相比是否具有一致性。从数据结果中可以总结出以下四个结论:(1)由于各种简化方法都是教科书中部分子集与教科书整体的比较,导致结果的一致性指标明显高于其他研究中一致性的水平;(2)包含问题的简化方法一致性系数最高;(3)包含文本、章节介绍和复习的简化分析方法与整本书相比一致性指标最低(≈0.8);(4)虽然简化方法都降低了一致性系数的指标,但“每5个问题”“每7个问题”“每10个问题”的简化方法与整本教科书一致性系数相似度极高(>0.9)。

  其次,课程专家计算了每种简化方法与对应课程标准间的一致性水平。这些指数可以回答教科书的八种简化方法与“核心标准”或佛罗里达州“下一代阳光州立标准”是否具有一致性,是否影响教科书与课程标准的一致性评估结果。研究结果显示,简化方法的一致性水平区间为0.28~0.46,并且各简化方法的一致性指数基本一致,并不显著地改变教科书一致性结果(>13%)。其中与整本教科书一致性系数(0.373)最相近的简化方法是“教科书的主要部分”(0.381)、“仅问题”(0.369)和“每5个问题”(0.368)。

  3.信效度检验

  有研究运用了皮尔逊相关分析(Pearson Correlation)重新调查了以上数据,结果显示与上述一致性分析系数基本一致。较高的相关性表示单元格内教科书分析与单元格内课程标准分析有着较高的一致性。举例来说,皮尔逊相关分析再次表明分析“每5个问题”(平均相关=0.405)的产出结果与整本书类似(平均相关=0.410),并且教科书中文字往往比其他部分更符合标准。为保证研究信度,课程专家运用GENOVA软件进行一系列概括性理论研究。将内容分析专家完成的内容分析转化为比例向量,计算了分析专家的普遍性系数以得出内容分析的信度。研究结果显示,专家对所有教科书的分析都具有高幅值的普遍性系数(>0.97)。总体来说,“每5个问题”的简化方法可以最优程度保证与教科书一致性分析结果的相关系数,并且无信度差异。

  综上所述,基础教育教科书实施是一个动态复杂的过程,“由标准驱动并基于标准”的教科书改革赋予了教科书评价本质的视角和动力。美国采用“课程实施调查”一致性分析工具进行小学数学教科书质量检测的实证研究,致力于探寻教科书与课程标准的一致性事实,阐释非一致性本质,并改善自身的工具性和服务性,以达到最终促进教师教学和学生学业成就提升的目的。这种来自课程改革与课程评价的同步性资料,为教师、学校、教科书供应商与教育决策者提高教科书及其选用质量提供了可靠参考。目前,课程研究专家正在尝试将教科书一致性相关研究结果在课堂教学干预性研究中予以使用,以对教师提高课堂教学与课程标准的一致性有所帮助。[12]

  二、结语

  几十年来,美国“课程实施调查”项目在基础教育领域稳步扎实地推进,为美国教育质量现状监测及发展趋势预判提供了科学的数据基础,有效地影响了美国基础教育课程改革的决策和发展。

  目前,我国基础教育正处于向内涵式发展的关键转型时期,教科书的实施质量日益成为制约基础教育质量实现进一步优质发展的瓶颈问题。美国教科书与课程标准一致性研究历程中逐步架构起的评价理论与经验,可以为正在寻求拓展与深化的我国基础教育教科书研究提供一定的借鉴与参考。

  第一,美国教科书与课程标准一致性分析模式的建构诠释了教科书质量评价的本质取向,即教科书质量分析的价值功能正在从一般性的质量评估向针对性的质量改进转变。以往将评价作为价值判断的思维视角是对教科书质量的终结性判断,而教科书一致性分析模式是对目标与表现达成程度的确认,目的在于确定并改进教科书课程实际达成基础教育目标的程度。鉴于此,厘清教科书评价研究的学理本质进行教科书研究的重要前提。

  第二,美国教科书与课程标准一致性评价的目的是在界定清楚学生学习目标的前提下,帮助教科书提高与课程标准的一致性来最终改善学生的学习。因为对教科书质量高低的评判,不在于其固有各种属性特征的完备性,而在于是否最终指向学习改进和学生发展。目前,我国各学科课程标准对学生学习目标的表述过于宏观,缺失细化的、可量化的学习成果评价标准。要实现以评价改善学习的最终目的,还需积极推进课程标准研究工作的纵深化发展,修订更为细化的学习成果评价标准。

  第三,美国实施教科书一致性评价的理论和实践历程表明,教科书与课程标准一致性分析模式存在方法上的优势。作为新近兴起的教育大样本评估技术,教科书一致性分析模式的优越性体现在可以扩大研究对象范围,收集到更加全面准确、普遍适用的真实数据,使实现大规模教科书质量研究成为可能。就技术本质而言,教科书一致性分析模式是一种用于量化教科书内容话题和认知需求与课程标准目标间一致性的方法,避免了传统教科书内容分析法易“过度化约”“流于肤浅”的缺陷,为我国教科书研究提供了可参考的分析模式。

  参考文献:

  [1]Blank,R.K.,Porter,A.C.,Smithson,J.L..New tools for analyzing teaching,curriculum and standards in mathematics and science[M].Washington,DC:Council of Chief State School Officers,2001:92.

  [2]Roach,A.T.,Niebling,B.C.,Kurz,A..Evaluating the alignment among curriculum,instruction,and assessments:Implications and applications for research and practice[J].Psychology in the Schools,2008,45(2):158-176.

  [3]郑蕾,雷浩.美国“实施课程调查”项目进展及运作机制——SEC项目主任约翰·史密森博士专访[J].全球教育展望,2017,(10):11-23.

  [10][11][12]Polikoff,M.S.,Nan Zhou,Shauna,E.C..Methodological choices in the content analysis of textbooks for measuring alignment with standards[J].Educational Measurement Issues and Practice,2015,34(3):10-17.

  [4]Erik Robelen.Common-Core Writers Issue Math "Publishers' Criteria"[EB/OL].[2018-01-13].http://blogs.edweek.org/edweek/curriculum/2012/07/lead_writers_of_math_common_co.html.

  [5]Polikoff,M.S.,Porter,A.C.,Smithson,J..How well aligned are state assessments of student achievement with state content standards?[J].American Educational Research Journal,2011,48(4):965-995.

  [6]Polikoff,M.S..How well aligned are textbooks to the Common Core Standards?[J].American Educational Research Journal,2015,52(6):1185-1211.

  [7][8]Polikoff,M.S.,Fulmer,G.W..Refining methods for estimating critical values for an alignment index[J].Journal for Research on Educational Effectiveness,2013,6(4):380-395.

作者简介

姓名:李秋实 刘学智 工作单位:东北师范大学教育学部

转载请注明来源:中国社会科学网 (责编:毕雁)
W020180116412817190956.jpg

回到频道首页
中国社会科学院概况|中国社会科学杂志社简介|关于我们|法律顾问|广告服务|网站声明|联系我们
中国社会科学院概况|中国社会科学杂志社简介|关于我们|法律顾问|广告服务|网站声明|联系我们