首页 >> 教育学 >> 普通教育学
郭元祥:深度学习 本质与理念
2017年12月04日 13:45 来源:《新教师》 作者:郭元祥 字号

内容摘要:理解深度学习理论对深化我国的教学改革具有重要的意义。

关键词:深度学习;翻转课堂;人工智能

作者简介:

  原标题:深度学习:本质与理念

  作者简介:郭元祥,华中师范大学教育学院教授、博士生导师,教育部华中师范大学基础教育课程研究中心主任,中国基础教育质量监测协同创新中心华中分中心常务副主任,中国教育学会教育学分会副理事长,2014年国家级教学成果奖一等奖获得者。2007年发起“海峡两岸能力生根计划”,在中国大陆率先倡导“深度教学”理念,并在江苏、湖北、湖南、广东、河南五省开展深度教学实验研究

  近十年来国际上最先进的教学理论其实根本不是国内疯传的“翻转课堂”等技术性的策略,而是源于人工智能和脑科学的深度学习理论。深度学习注重让学生沉浸于知识的情境和学习的情境,强调批判性思维,注重实现知识的内在价值。理解深度学习理论对深化我国的教学改革具有重要的意义。

  一、深度学习概念的提出

  深度学习的概念,源于30多年来计算机科学、人工神经网络和人工智能的研究。上世纪八九十年代,人们提出了一系列机器学习模型,应用最为广泛的包括支持向量机(Support Vector Machine,SVM)和逻辑回归(Logistic Regression,LR),这两种模型分别可以看作包含1个隐藏层和没有隐藏层的浅层模型。计算机面对较为复杂的问题解决训练时,可以利用反向传播算法计算梯度,再用梯度下降方法在参数空间中寻找最优解。浅层模型往往具有凸代价函数,理论分析相对简单,训练方法也容易掌握,应用取得了很多成功。①随着人工智能的发展,计算机和智能网络如何基于算法革新,模拟人脑抽象认知和思维,准确且高清晰度地进行声音处理、图像传播甚至更为复杂的数据处理和问题解决等,在21世纪来临的时候成为摆在人工智能领域的关键问题。

  30多年来,加拿大多伦多大学计算机系辛顿教授(Hinton,G.)一直从事机器学习模型、神经网络与人工智能等问题的相关研究,并在机器学习模型特别是突破浅层学习模型,实现计算机抽象认知方面取得了突破性的进展。2006年,他在《Science》上发表了《利用神经网络刻画数据维度》(Reducing the Dimensionality of Data with Neural Networks)一文,探讨了应用人工神经网络刻画数据的学习模型,首先提出了深度学习(Deep Learning)的概念和计算机深度学习模型,掀起了深度学习在人工智能领域的新高潮。这篇文章的两个主要观点是:第一,多隐藏层的人工神经网络具有优异的特征学习能力,学习到的特征对数据有更本质的刻画,从而有利于可视化或分类;第二,深度神经网络可以通过“逐层初始化”(Layer-wise Pre-training)来有效克服训练和优解的难度,无监督的逐层初始化方法有助于突破浅层学习模型。②基于深度置信网络(DBN)提出非监督逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。③2012年,辛顿又带领学生在目前最大的图像数据库ImageNet上,对分类问题取得了惊人的结果,将计算机处理图像数据问题时排名前五的错误率(即Top5错误率),由最高26%大幅降低至15%,大大提高了人工智能图像数据处理的准确性和清晰度,这是早先计算机仅仅依赖数学模型的表层学习和单层学习根本无法实现的水平。

  在人工智能领域,深度学习其实是一种算法思维,其核心是对人脑思维深层次学习的模拟,通过模拟人脑的深层次抽象认知过程,实现计算机对数据的复杂运算和优化。深度学习采用的模型是深层神经网络(Deep Neural Networks,DNN)模型,即包含多个隐藏层(Hidden Layer,也称隐含层)的神经网络(Neural Networks,NN)。深度学习利用模型中的隐藏层,通过特征组合的方式,逐层将原始输入转化为浅层特征、中层特征、高层特征直至最终的任务目标。深度学习可以完成需要高度抽象特征的人工智能任务,如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多个隐藏层的人工神经网络,多层非线性结构使其具备强大的特征表达能力和对复杂任务的建模能力。训练深层模型是长期以来的难题,近年来以层次化、逐层初始化为代表的一系列方法的提出,为训练深层模型带来了希望,并在多个应用领域获得了成功。

  人工智能学者们认为计算机和智能网络的这一深层的自动编码与解码过程,是一个从数据刻画、抽象认知到优选方案的深度学习的过程。由于人脑具有深度结构,认知过程是一个复杂的脑活动过程,因而计算机和人工智能网络模拟从符号接受、符号解码、意义建立再到优化方案的学习过程也是有结构的;同时,认知过程是逐层进行、逐步抽象的,人工智能不是纯粹依赖于数学模型的产物,而是对人脑、人脑神经网络及抽象认知和思维过程进行模拟的产物。应该说,到目前为止,深度学习是计算机和智能网络最接近人脑的智能学习方法。近几年来,深度学习进一步尝试直接解决抽象认知的难题,并取得了突破性的进展,AlphaGo的问世,便是证明。2013年4月,《麻省理工学院技术评论》(MIT Technology Review)杂志将深度学习列为2013年十大突破性技术之首。④深度学习引爆的这场革命,将人工智能带上了一个新的台阶,不仅学术意义巨大,而且实用性很强,工业界也开始了大规模的投入,一大批产品将从中获益。二十世纪八九十年代以来,随着学习科学的不断发展,深度学习的概念和思想不断在教育中得到应用。

  二、深度学习在教育中的兴起与发展

  来自脑科学、人工智能和学习科学领域的新成就,必然引起教育领域研究者的深刻反省。计算机、人工智能尚且能够模拟人脑的深层结构和抽象认知,通过神经网络的建立开展深度学习,那人对知识的学习过程究竟应该是怎样的一个脑活动过程和学习过程?学生的学习有表层和深层等层次之分吗?从作为符号的公共知识到作为个人意义的个人知识究竟是怎样建立起来的?知识学习过程究竟是一个怎样的抽象认知过程?信息技术环境支持下深层次的学习如何实现?近十多年来,这些问题引起了许多教育研究者特别是教育技术学研究者的浓厚兴趣,深度学习、深度教学的研究日益引起人们的重视。也正是在辛顿的“深度学习”概念明确提出后,教育学领域特别是教育技术学领域的深度学习研究日益活跃起来。

  其实,早在1956年布鲁姆在《教育目标分类学》里关于“认知领域目标”的探讨中,对认识目标的维度划分就蕴含了深度学习的思想,即“学习有深浅层次之分”,将教学目标分为了解、理解、应用、分析、综合、评价六个由浅入深的层次。⑤学习者的认知水平停留在知道或领会的层次则为浅层学习,涉及的是简单提取、机械记忆符号表征或浅层了解逻辑背景等低阶思维活动;而认知水平较高的深层理解、应用、分析、综合和评价则涉及的是理性思辨、创造性思维、问题解决等相对复杂的高阶思维活动,属于深层学习。1976年,美国学者马顿(Marton,F.)和萨尔约(Saljo,R.)在《论学习的本质区别:结果和过程》(On Qualitative Difference in Learning:Outcome and Process)一文中,明确提出了表层学习和深层学习的概念。⑥这被普遍认为是教育学领域首次明确提出深度学习的概念。他们在一项关于阅读能力的实验研究中,明确探讨了阅读学习的层次问题。通过让学生阅读文章并进行测验,发现学生在阅读的过程中运用了两种截然不同的学习策略:一种是试图记住文章的事实表达,揣测接下来的测试并记忆,即表层学习(Surface Learning);另一种是试图理解文章的中心思想和学术内涵,即深层学习(Deep Learning),也被译为深度学习。深度学习的学习者追求知识的理解并且使已有的知识与特定教材的内容进行批判性互动,探寻知识的逻辑意义,使现有事实和所得出的结论建立联系。浅层学习和深层学习在学习动机、投入程度、记忆方式、思维层次和迁移能力上有明显的差异。深度学习是一种主动的、高投入的、理解记忆的、涉及高阶思维并且学习结果迁移性强的学习状态和学习过程。之后,拉姆斯登(Ramsden,1988)、英推施黛(Entwistle,1997)以及比格斯(Biggs,1999)等人发展了浅层学习和深度学习的相关理论。⑦随着信息技术的发展,近十年来,国外学者对信息技术支持下的深度学习及其在各学科领域、各类教育中的应用研究日渐广泛。

  2002年以来,从技术支持高等教育的深度学习、虚拟环境中的深度学习、形成性评估对深度学习的影响、学习环境对学生进行深度学习的影响、技术支持下的深度学习设计等方面研究成果日益丰富,但绝大部分是基于教育技术学视野的研究成果。2006年,辛顿教授关于深度学习的成果发表,进一步推动了深度学习在教育中的研究与应用。近十年来,在中小学深度学习研究方面最有影响的当属加拿大西盟菲莎大学(Simon Fraser University)艾根(Egan,K.)教授领衔的“深度学习”(Learning in Depth,简称LID)项目组所进行的研究,其成果集中体现在《深度学习:转变学校教育的一个革新案例》(Learning in Depth:A Simple Innovation That Can Transform Schooling)等著述之中。⑧该研究探讨了深度学习的基本原则与方法,分析了深度学习对学生成长、教师发展和学校革新的价值与路径,并在加拿大部分中小学进行实验研究。其核心成果聚焦课堂学习和教学问题,即使是关于教师教育中深度学习的研究,也聚焦于教师的学习过程和学习方式。⑨艾根所开展的深度学习研究项目超越了单一教育技术学视野的研究,不仅仅是关于教学设计、学习技术和学习环境开发的研究,而是基于建立新的学习观和知识观,对教学活动与学习过程作出了新的阐释。

分享到: 0 转载请注明来源:中国社会科学网 (责编:毕雁)
696 64.jpg
用户昵称:  (您填写的昵称将出现在评论列表中)  匿名
 验证码 
所有评论仅代表网友意见
最新发表的评论0条,总共0 查看全部评论

回到频道首页
wxgg3.jpg
内文页广告3(手机版).jpg
中国社会科学院概况|中国社会科学杂志社简介|关于我们|法律顾问|广告服务|网站声明|联系我们