从多模态视角看小学英语教材的发展

从多模态视角看小学英语教材的发展

武赛南，李莉华

（东华大学外语学院，上海201600）

摘要：随着外语教材的多模态化与网络化发展，对外语教材中文字、图像以及其他模态间意义建构的研究已经变得非常必要。文章结合定性和定量的研究方法，以Kress和van Leeuwen(2001)的视觉语法为依据，对2003版与2012版PEP小学英语教材进行多模态话语分析，了解两版教材中各模态互动的差异。

关键词：视觉语法；多模态内容分析；多模态话语分析；新课程改革

中图分类号：G642文献标识码：A文章编号：1009-5039(2016)15-0017-03

新课程改革要求英语教材更大程度上地满足学习者的需

求，教材的多模态性在新课程改革前后也有所变化，从多模态

视角分析不同版本教材的发展、变化，旨在了解教材发展的趋

势，以便更好地为学习者服务。文章结合定性和定量的研究方

法，以Kress和van Leeuwen(2001)的Visual Grammar为依据，对2003版与2012版PEP小学英语教材进行多模态话语分析，探究新课程改革前后两版教材的差异。具体而言，文章将致力于

回答下列问题：（1）两版英语教材中都有哪些模态类型？在使

用频率和分布上有什么差异？（2）两版英语教材中图像模态的

三大元功能分别是如何实现的？文字与图像模态之间如何互

动并进行意义构建的？

1文献回顾

国外对于教材的多模态研究主要集中在将视觉模态与听

觉模态结合起来分析文本教材以及超文本教材，例如：Nu-manoglu和Bayir(2009:2141-2143)对教材编写的所有因素进行

了讨论，提出了48项视觉设计编写原则，涉及字体、空间、对称、图形、位置、封面、颜色、目录、图表、页面设计等多种因素。Jones(2006)通过对比书面教材、光盘以及网络视频，研究了物理、生物两门学科教材的多模态性，分析了不同学科教材中符号的元功能差异以及不同教材类型：书面教材与网络视频间的差异。国内主要运用多模态理论分析具体的外语教材。李清清（2009）研究揭示了不同学习阶段的不同学科教材多模态性存在较大的差异，并解释了原因在于处于不同阶段的学习者认知能力不同。李顺臣（2011）对比分析了《新视野大学英语》的读写教程与听说教程，认为由于两个教程语言学习任务以及学习者的认知水平不同，导致了读写教程与听说教程呈现不同的模态特征。然而，学者对于教材的多模态研究主要集中在对单本教材的分析、不同学科以及不同学习阶段的教材分析，很少涉及新课改前后不同版本教材的发展、变化。

2理论背景介绍

多模态话语分析理论是特定历史阶段的产物：大部分的话语意义是由非语言特征实现的，需要听觉、视觉、触觉并用。R. Barthes(1977)是多模态话语分析理论最早研究者之一，他在论文《图像的修辞》（Rhetoric of the image）中分析了在表达意义上图像与语言的相互作用。其他代表人物主要有Michael O’Toole(1994)以及Kress和van Leeuwen(1996;2001)等。O’Toole(1994）在《语言的表现艺术》（The Language of Displayed

Art）中使用系统功能语言学中的语法理论分析图像。Kress和van Leeuwen以Halliday的系统功能语法理论为基础，提出“多

模态话语”(multimodal discourse)这个概念，拓宽系统功能语言学的纯理功能思想到视觉模式，创建了以“再现意义”“互动意义”和“构图意义”为核心的语法框架，奠定了多模态话语分析的理论基础。国内多模态话语的研究多以引进西方理论为主，处于起始阶段（见李战子2003；胡壮麟2007；张德禄2009等）。3研究方法

文章采用结合定性研究和定量研究的研究方法。首先，研究者以Kress和van Leeuwen(2001)的Visual Grammar为理论依据，对教材中的模态类型进行定量分析，即通过分类来统计各种模态的分布情况和使用频率。然后，再进行定性分析，即把这些模态置于具体语境来探讨它们如何构建语篇意义。最后，通过数据统计、比例计算以及制作表格的方式来呈现研究结果，探讨教材中图片与文字的关系。

4多模态语篇的意义构建

教材语篇的意义构建主要从Kress和van Leeuwen(2001)的视觉语法中再现意义、互动意义以及构图意义具体分析，以2003版与2012版六年级（上）unit1与unit2的单元导入图为例。

图12003版PEP6（上）unit1

收稿日期：2016-06-08修回日期：2016-07-08

作者简介：武赛南（1991—），女，河南平顶山人，硕士，主要研究方向为英语教学；李莉华（1974—），副教授，主要研究方向为英语语言文学、英语教学、二语习得及语篇分析、英汉语语法。

17

二语习得与课程教学论

本栏目责任编辑：唐一东

二语习得与课程教学论

本栏目责任编辑：唐一东

Overseas English 海外英语2016年8

月

图22012版PEP6（上）unit2

4.1再现意义

根据Kress 和van Leeuwen(1996)的视觉语法，再现意义可

分为叙述再现(narrative representation)和概念再现(conceptual representation)。区分两者的标准是：叙述性结构中拥有由图像元素间的斜线构成的矢量(vector)。文章通过整理2003版与2012版六年级（上）unit1与unit2，得出以下数据：

再现意义

动作过程反应过程言语和心理过程分类过程分析过程象征过程

2003版PEP 小学英语数量

232114113

比例42.6%3.7%20.4%7.4%1.9%24.1%

2012版PEP 小学英语数量16852110

比例38.1%19%11.9%4.7%2.4%23.8%

叙述再现又进一步分为动作过程(action process)、反应过程(reactional process)和言语和心理过程(speech and mental pro?cess)。具体而言，人物之间的动作、手势构成了一个矢量，体现了叙述再现中的行动过程；人物间的对话、思想交流，形成了叙述再现中的言语和心理过程；而各种交通工具的图像又让学习者直观地想到了by plane,by subway 等交通方式，体现了叙述再现中的反应过程。上表显示：2003版教材以动作过程、言语和心理过程为主。例如图1中绿衣服的小男孩指着远方，向红衣服的小女孩询问：How can I go to the zoo?小女孩面对小男孩回答道：You can go by subway.小男孩的手势以及他们的对话就体现了叙述再现中的行动过程以及言语和心理过程。而2012版教材出现了19%的反应过程，以动作过程、反应过程为主。反应过程主要表现为参与者面对不同的现象所做出的反应。在图2中，两组人物互相面对面进行交谈，更加注重了人物之间的眼神交流以及根据他们的对话：Wait!Don ’t go at the red light.—Sorry.体现了长者对小女孩的关心以及小女孩对于自己冒失的一丝抱歉。这个差异也进一步地体现了，在义务教育英语课程标准(2011版)的要求下，2012版教材更符合以人为本的要求，注重细节以及人文特色。

概念再现可划分为分类过程(classificational process)、分析过程(analytical process)和象征过程(symbolic process)。分类过程通过分类关系将参与者联系起来，分析过程以部分与总体的结构来联系参与者，而象征过程说明了参与者的意义或内涵。上表显示，2003版与2012版教材都以概念再现中的象征过程为主。图1中的自行车、地铁等图像，都与文本主题相呼应，形

成象征过程。而图2中SUBWAY 的标识以及红绿灯、地上的斑马线等，都让学习者清晰地认识到：这是马路上的十字路口，本单元讨论的语篇对象与交通工具有关，形成了概念再现中的象征过程。4.2互动意义

Kress 和van Leeuwen(1996)认为互动意义主要探讨了三者

间的关系：图像制作者、图像所呈现的世界与图像观看者，同时表达图像观看者对表征事物持有的态度。互动意义的实现主要依靠接触(contact)、社会距离(social distance)、视角(perspec?tive)三个要素。接触指图像参与者通过目光与图像观看者建立起来的一种想象的接触关系。当参与者的目光指向观看者时，图像参与者似乎在向观看者索取什么，Kress 和vanLeeuwen (1996)把这类图像称为“索取”(demanding)类图像，表达索取信息的意义。当参与者不是有生命的人或动物，或者当参与者的目光不指向观看者时，参与者与观看者之间就不存在想象的人际关系，这种图像表达提供信息的意义，是“提供”(offering)类图像。图1中的小丑与骑自行车的小女孩进行对话：How do you go to school?—I go to school by bike 时，眼神与学习者进行了交流，好像在询问学习者的想法与感受，形成了“索取”，这种想象中的交流与互动，极大地激发了学生的积极性与活动参与度，增强了人际交往能力。而图2中的两组人物在进行交流时，目光并没有指向学习者。因此，这两组人物与学习者之间不存在想象人际关系，属于“提供”类图像，两组人物单纯地向学习者提供了询问交通方式的方法以及遵守交通规则等文化信息，这些丰富的信息量极大地满足了学习者学习新知识，了解各种文化的需求。

图像的社会距离通常与镜头取景的框架大小有关，其决定了图像参与者与观看者间的亲疏关系。亲近距离：只看得见脸部或头部；个人近距离：头部和肩部；个人远距离：腰部以上；社会近距离：整个人；社会远距离：整个人并且周围有空间环绕；公共距离：4～5个人的距离(Kress 和van Leeuwen,1996:131)。图1中，版面给我们的整体感受是空间非常拥挤，分为上下两个场景，共包括了15个人物，以及其他各种各样的周边环境，例如城堡、山、太阳、风筝、过山车、自行车等。众多的人物以及空间环境致使图像中人物与学习者之间的社会距离比较远，亲疏关系差，属于公共距离的范畴；而图2的版面非常清晰，除了向学习者提供十字路口的场景信息外，图中只能看到两组相互交谈的人物。此外，为了表现单元的整体信息，镜头选取了有背景信息的整个人物图像，这属于社会近距离。这种社会距离的选择，不但拉近了学习者与图中人物的关系，使学习者有一种融入感；而且主题鲜明，不易分散学习者的注意力。

视角传达了观看者对图像参与者所持的主客观态度。水平视角的正面角度给观看者感同身受、融入其中的感觉，而倾斜角度则表现出作为旁观者的漠然与事不关己；垂直视角的俯视角度代表观看者的强势，平视角度暗示观看者和参与者相对平等的关系，仰视角度则表示参与者处于相对强势地位(Kress 和van Leeuwen,1996:119-158)。以图1和图2为例，两者的视角就有所不同。图1所选取的是水平视角中的正面角度，使学习者有感同身受、融入其中的感觉；而图2中的角度是从上向下进行拍摄的，属于垂直视角中的俯视，使学习者处于一种相对强势的地位。4.3构图意义

构图意义的实现依赖于三种资源：信息值(information val?ue)、显著性(salience)和取景(framing)(Kress 和van Leeuwen,1996)。信息值指视觉要素在图像中的相对位置所传递的信息。具体而言，是指视觉要素在图像中所处的上下、左右以及中心、边缘的信息值。这一部分在多模态内容分析中：图像位置已经进行了具体的分析。因此，这里仅以图1和图2为例，进行实例分析。图1和图2作为单元的导入图，起着引领学习者

18

Overseas English海外英语2016年8月

迅速进入学习状态，涵盖单元中心主题的任务。因此，两图都是位于中心位置，代表着重要信息。而其中的文本，除了大标题用加粗、填充色的形式位于图像的上方，其他文本都以对话泡的形式与图像一起呈现。

视觉要素吸引观众的不同程度体现了显著性。Kress和van Leeuwen(1996)认为，可以通过位置、颜色对比、大小等方式

来突出图片中某些构成成分，使其更加突出醒目。例如图1中，分别通过蓝色和黄色的填充色来突出单元的标题How Do You Go There?以及小熊与小松鼠之间的对话：How can I go to the nature park?--You can go by the No.12bus.通过拉近小熊与小松鼠的镜头，使其与学习者之间的社会距离稍近一些，也起到突出信息的效果。图2中，标题Unit Two使用了橘色的加粗字体，以及地铁标识“SUBWAY”都通过颜色对比以及字体差异的方式体现了显著性。此外，图像中两组人物以社会近距离的形式呈现，起到了突出主题的作用。

取景指图像中是否存在取景线连接或分割图像中的视觉要素，来表达关联或不关联的信息关系，并因此引导读者对整个图像的阅读与理解。图1中，大标题以及对话文本都用边框与其他图像分割开来，用以明确地告诉学习者，边框内的对话文本是本单元必须要掌握的词组、句子。此外，分割取景线将图像分为上下两个板块，不同的板块设定不同的对话，分割清晰、取景效果良好，教会学习者不同的知识与文化。而图2看似是一幅完整的图像，实则利用地面上的一些斑马线将两组人物分割开来，分别讨论不同的话题。此外，对话文本也用对话泡的形式，与图像进行了分割，有助于突显单元主题。

5结论

多模态英语教材对学习者起着至关重要的作用。文章对比研究发现：新课程改革前后，两版教材的多模态体现形式、文字与图像契合程度以及意义的整体构建都有所不同。2003版教材图像较为密集，色彩元素多，主题显著性差，与学习者的社会距离较远；2012版教材图像稍少了一些，增加了许多中外照片，贴近生活，色彩搭配和谐，主题突出，与学习者的社会距离近，极大地体现了新课程改革后对学习者人文性的要求，了解中外先进文化，激起学习者的积极性。但是，由于篇幅的限制，文章仅主要对视觉模态中文本以及图像模态间的互动意义进行了研究，缺少对听觉模态的研究，需要更进一步的研究与完善。

参考文献：

[1]Jones J.Multiliteracies for Academic Purposes:A Metafunc?tional Exploration of Intersemiosis and Multimodality in Uni?versity Textbook and Computer-based Learning Resources in Science[D].Doctorate Thesis.The University of Sydney,2006.

[2]Kress G,T Van Leeuwen.Reading Images:The Grammar of Visual Design[M].London:Routledge,1996.

[3]Kress G,T Van Leeuwen.Multimodal Discourse:The Modes and Media of Contemporary Communication[M].London:Ar?nold,2001.

[4]Numanoglu G,Bayir S.Evaluation of information and commu?nication technology textbooks according to principles of visual design[J].Social and Behevioral Science,2009(1). [5]R Barthes.Image,Music,Text,London,Fontana[M].New York:Hill and Wang,1977.

[6]Royce T.Multimodality in the TESOL Classroom:Exploring Visual-Verbal Synergy[J].TESOL Quarterly,2002,36(2). [7]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研

究,2007(1):1-10.

[8]李清清.教科书语篇的多模态话语分析[D].厦门大学,2009 (4).

[9]李顺臣.新视野大学英语教科书的多模态话语分析[D].西南

大学,2011.

[10]李战子.多模式话语的社会符号学分析[J].外语研究,2003 (5):1-8.

[11]张德禄.多模态话语分析综合理论框架探索[J].语言教学

与研究,2009(1):24-30.

19

二语习得与课程教学论

本栏目责任编辑：唐一东