中智讯-云计算实验室建设方案

云计算实验室建设方案

目录

1 实验室项目建设背景 .................................................................................................... -

2 -

1.1 项目建设背景 .................................................................................................... - 2 -

1.2 项目建设目标 .................................................................................................... - 2 -

1.3 项目建设内容 .................................................................................................... - 2 -

1.4 项目建设原则 .................................................................................................... - 3 -

2 实验室项目建设方案 .................................................................................................... - 4 -

2.1 项目方案介绍 .................................................................................................... - 4 -

2.2 项目配置清单 ..........................................................................................................

3 实验室项目产品介绍 ..........................................................................................................

3.1 大数据与虚拟化教学实验平台.............................................................................. - 6 -

3.2 智云硬件库实时大数据源.................................................................................. - 17 -

4 大学计划与培训服务 .................................................................................................. - 20 -

4.1 中智讯大学计划............................................................................................... - 20 -

4.2 中智讯师资人才培养 ........................................................................................ - 22 -

4.3 工程师认证及再就业培训.................................................................................. - 23 -

1 实验室项目建设背景

1.1 项目建设背景

随着全球数据量的爆炸式增长和数据挖掘技术的发展，数据分析与数据挖掘技术正在以空前的速度产生和积累，对数据分析和数据挖掘的人才需求也快速增加。进入 2014 年，大数据（Big Data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。目前，大数据正在开启一次重大的时代转型，其影响力包括传统的金融、医疗保健、市场业、零售业、制造业、司法、工程和科学、保险业等等行业。

数据挖掘致力于从大型数据库中发现隐藏知识、未知模式和新规则，以指寻人们做出正确决策。数据挖掘在数据处理中有独到的优势，但随着“大数据”旪代的到来，传统的数据挖掘经验受到了严重的挑战，如何从纷繁复杂的海量数据中提取有用的信息，变数据为财富，挖掘数据中的金矿，提升企业竞争力以及提高企业风险管理水平，是当前企业和教育工作的重要课题。

1.2 项目建设内容

数据分析与挖掘实验室旨在培养具备海量数据采集、管理、分析与挖掘等方面专业素养的应用型、复合型、创新型人才，

要求学生具有良好数学基础和较强编程能力，掌握信息科学与计算科学的基本理论方法与技能，具备定量分析、科学预测和应用软件开发能力，以胜任银行、零售商、电商、医院、供应链管理公司和电信公司等多个行业的相关工作。同时，实验室又要满足大数据技术及应用、各行业理论和复杂性等前沿领域研究的需要，将研究成果应用于我国各企业的发展与改革的深化，为政府和企业提供相关决策咨询和技术支持。实验室主要的功能如下：

科研实验：结合大数据技术及应用、应用数学、统计、经济等领域的研究力量，在中心框架下利用创新实验室的平台条件，开展前沿的大数据技术及应用方面的统计分析和实证研究，实现宏观经济、行业研究、金融研究、能源研究、通信研究等领域研究水

平提升。

培训教学: 结合国际流行的数据挖掘、统计分析工具和专业精准的数据库，培养学生的数据挖掘、数据分析、数据检验、程序设计等实践技能。

1.3 项目建设原则

数据分析与挖掘技术实验室建设遵循以下原则：

1）可靠性：系统稳定、可靠的运行是系统具有实用性的前提。要求系统具有高稳定性，当系统出现故障和突发事件时，具有保障正常运行的措施。

2）易用性：系统应尽可能的减少系统维护人员的工作量。经过短期培训后，一般工作人员可掌握系统使用方法，这是为系统在使用过程中的实际需要考虑的。系统交付使用以后，应该便于各种日常维护工作，能够方便地进行软件的重新配置、系统的智能预警监测、硬件备品备件的更换和软件系统的升级。

3）扩展性：扩展能力是云计算应用基础服务平台最重要的原则之一，作为云计算行业应用的基础服务平台，平台应具备充分、灵活的适应能力、可扩展能力和自动升级能力，提供可视化的二次开发、配置工具，并充分考虑接口的标准化、协议的标准化。

4）可管理性：系统应具备完整的统计、分析、授权和预警等功能，并提供打印、短信、邮件、视频监控、GPS定位等通用服务。

2 实验室项目建设方案

2.1 项目方案介绍

针对目前高校大数据分析与挖掘教学与科研现状，经过大量高校教学需求调研，中智讯推出专业实用的大数据与虚拟化教学平台，帮助学生熟悉和掌握大数据及云计算领域的前沿技术，掌握云计算与大数据的开发方法，学习数据分析、数据挖掘、数据建模、数据仓库等知识。结合中智讯在物联网和移动互联网技术的多年积累，提供支持云计算的大量真实物理大数据源，以及提供大量的大数据分析与挖掘的项目案例，能够让学生由浅入深的学习虚拟化、大数据分析与挖掘技术的专业课程；

实验室方案框架说明：

1)大数据与虚拟化教学实验平台：该部分作为大数据和虚拟化基础知识的主要学习平台，是高校主要建设的部分。实验主机将4台高配的专业服务器集中在一台机柜内，通过千兆交换机互联，学生可通过该平台做大数据和虚拟化的“建”、“管”、“用”等一系列实验。系统专业服务器包含：管理主机、计算主机、主存储主机、二级存储主机、千兆交换机等硬件构成，主机分区设计，直观的展示云计算的硬件构成及部署。实验平台采用一对一服务，每个学生独享一套硬件资源，方便管理和教学。

2)虚拟化技术教学资源：该部分主要用于学习云计算虚拟化技术及相关的IAAS自动化管理、部署、监控软件，支持大部分主流虚拟机的学习：KVM、Xen、Vmware、Oracle VM等。教学资源包含：Linux操作系统配置与使用（CentOS）、KVM虚拟化、Xen 虚拟化、Vmware虚拟化、Oracle VM虚拟化、CloudStack安装部署、CloudStack虚拟机资源管理、CloudStack平台运维与优化等。

3)大数据技术教学资源：该部分主要学习基于Hadoop架构的大数据教学，涵盖数据分析、数据挖掘、数据建模、数据仓库等知识。教学资源包含：Hadoop集群的部署/管理/监控、分布式文件系统HDFS安装配置与使用、大数据并行计算框架MapReduce安装配置与调优、基于Eclipse的HDFS/MapReduce程序开发与调试、HBase/Hive数据库系统的数据仓库开发与使用、基于Hive api的数据查询分析程序开发、大数据挖掘系统Mahout程序开发等。

4)大数据教学项目案例：该部分通过构建完整的行业综合应用实例来辅助教学，提供的项目包含：个人存储私有云综合实验、气象数据分析云综合实验、微信人物关系

综合实训、云图书馆实例综合实训。结合智云硬件库实时大数据源，独创支持智云物联数据中间件系统的开发，涉及物理世界大数据的接入、分析、仓储、挖掘等功能，支持海量最近1小时、最近1天、最近1周、最近1月、最近1年及任意时间段数据的快速挖掘及数据分析使用，同时配合智云应用API，与上层移动互联网应用开发结合，构建从数据源端 -> 大数据处理中心 -> 行业应用完整的一套系统。

5)智云硬件库实时大数据源：该部分提供真实的物理硬件支撑大数据的接入，包含各种商用/工业感知器、执行器、采集器、摄像头、门禁、显示屏、电机设备、气象站、M2M路由、Android网关、Zigbee工业无线节点等各种设备，为学生提供行业真实应用的硬件数据源，可以构建各种应用场合：环境雾霾监测系统、仓库温度火灾监测系统、公共场合人流密度监测系统、工厂无人自动化生产系统、气象站天气预测系统等。

6)中智讯大数据源样本库：中智讯一直致力于移动互联网物联网行业开发，并运营独立的开放数据共享平台“智云物联”，能够为大数据科研及教学提供各种长期的数据样本，通过真实的物理数据支撑数据分析、数据挖掘的可靠性。

实验室方案课程体系：

大数据与虚拟化实验室所构建的实验：

2.2大数据分析与挖掘教学实验平台介绍

ZCloudEduSysV1大数据与虚拟化教学实验平台提供完整的云计算虚拟化、大数据信息处理教学解决方案，采用独立工业机柜设计，在教学上每个学生可独享一套硬件资源，方便教学及云架构的体验。

ZCloudEduSysV1教学系统包含云计算虚拟化系统、云计算服务管理系统、云计算大数据教学系统、云计算项目案例系统四个部分组成，可完成对虚拟化、大数据、分布式与并行计算等云计算核心技术和理论的理解，提高学生的实践动手能力和运用云计算技术研发创新能力，作为学校开展云计算技术相关课程的实验实训平台。

云计算虚拟化技术：

ZCloudEduSysV1教学系统支持多种虚拟化技术部署，包含Xen、KVM、VMware ESXi、VirtualBox，提供CentOS操作系统下虚拟机搭建、管理及使用。ZCloudEduSysV1教学系统采用业界知名的云计算平台CloudStack统一管理网络资源，存储资源和计算资源组成的基础设施，通过使用 CloudStack可以部署，管理，配置于虚拟化平台。

通过CloudStack可以实现：

1）通过配置、整合一系列软、硬件设备为客户构建计算、存储资源池以及相应服务平台，使用户可以按需、弹性获取计算及存储资源。

2）通过云平台管理系统对整个云计算平台进行集中管理，实现对云平台的软、硬件资源进行、行统一分配和管理。

3）构建虚拟服务器，部署各种业务系统。通过云平台能对应用系统计算资源的动态调配。

CloudStack产品组件框图如下：

1）CloudStackUI 向管理员和用户提供基亍 Web 的操作界面。

2）CloudStack是 CloudStackUI 的后端支持系统，对外提供 API。

3）CloudStackView 提供面向虚拟机、物理主机和外部设备的监控服务。

4）其中 CloudStack资源管理模块作为于管理平台的核心，提供基于资源池的资源的管理和调度，完成 UI 的后端支持系统，可对外提供 API 供二次开发。

5）CloudPortal 是一个与用的业务/运营支撑系统的（B/OSS）平台，能使服务提供商能够迅速迚入市场，搭建在 CloudStack于管理平台之上。

云计算大数据技术：

ZCloudEduSysV1教学系统提供基于Apache Hadoop架构的大数据系统教学，包含大数据分析处理、大数据仓库数据库和大数据挖掘算法三个子系统。

1) 大数据分析处理子系统具备如下功能：

●大数据分片和分布式存储；

●大数据元数据管理，元数据包括文件属性、文件名与分片的对应关系、分片的

存储节点等信息；

●负载均衡和失效节点数据自动复制；

●MapReduce并行处理框架；

●MapReduce任务调度、容错。

2）大数据仓库数据库系统具有如下功能：

●SQL语言查询接口；

●表生成、外部表集成；

●可进行选择、投影、连接、聚集等查询操作；

●高吞吐率事务处理；

●与传统数据库进行数据导入和导出。

3）大数据分析与挖掘系统具有如下功能：

对大数据的分类、聚类、预测等数据挖掘功能。支持并行频繁项挖掘算法，K-Means, Fuzzy K-Means、Dirichlet process等聚类算法，朴素贝叶斯、决策树等分类算法。

2.3 实验课程指导手册

2.4 大数据分析与挖掘实训项目

2.4.1 LBS朋友圈位置分享实训

LBS全称为Location Based Services，有两层含义：首先是确定设备或用户所在的地理位置，也即所处的空间；其次是提供与所处空间相关的各类服务。也就是说LBS就是要借助互联网或无线网络，在固定用户或移动用户之间，完成“定位”和“服务”两大功能。

LBS成为移动互联网到来时一种新的基础服务，这是移动互联网再不用遵循传统互联网玩法的全新领域，对智能手机用户而言，它又使人能在现实中拥有超过PC时代的

全新能力。

LBS朋友圈位置分享系统采用智云互联开发平台技术，开发了类似与微信的“查找附近的人”应用功能，通过分享位置信息，查询附近的人，同时可以进行消息互动。详细功能如下：

1）采用Hadoop分布式数据库对上报位置进行海量存储；

2）采用GeoHash算法进行位置维度定位；

3）第一次使用时，会提示您需要同意使用地理位置信息和补充个人信息；

4）进入到查看附近的人页面，可以查看到附近人的相关信息，包括性别、所在地区和个性签名；

5）点击感兴趣的人，还可以给他打招呼并成为朋友；

6）附近好友之间可以进行消息聊天；

7）如果您不想再被附近人查看到，可以点按列表右上角图标清除您的地理位置信息；

8）支持Android2.2/2.3、Android4.0以及更高版本的android平台。

2.4.2 微信人物关系云分析实训

双十一购物节能成为时下IT圈的弄潮儿，离不开阿里利用大数据个性化推荐的法宝，而亚马逊可以领跑美国电子商务，也得益于它们的个性化推荐系统，推荐系统会成为以移动互联网为载体的下一代互联网的支撑内容。特别是近几年应用的领域很多，像电子商务里面有淘宝，当当等等，音乐上就有豆瓣电台之类的，另外像社交网络有新浪微博，还有像本地服务中的大众点评，腾讯微信/QQ的好友推荐，新闻人物关系分析等

等。

微信人物关系云分析系统是移动互联网与大数据结合的一个典型应用案例，使用Hadoop的HDFS和Map/Reduce来模拟微信账号的个人数据和通信数据分析，分析出两个账号之间可能存在的关系。相似的业务有：QQ好友推荐和人人网人物关系分析等。

在Hadoop的集群平台上存储了一些模拟微信个人账号和通信数据信息，其中包含了：姓名，年龄，性别，职业，地址，好友信息，通信地点，通信时间，通信内容等多维度的信息；每个学生都可以把这个文件下载到本地，然后以个人信息为基准来修改这些文件，再回传这些文件到云分析目录下，作为分析人物关系的数据依据；回传成功后，学生可以设定判定两个人物之间关系的一些关键词，这些关键词可以作为判断两个人物之间关系的依据，例如，朋友关系:“哥们”，“一起吃饭”等，还有一些其他维度信息的设定，比如两个人的年龄相仿等等，通过一系列条件的设定来告诉系统要依据这些信息来分析两个人物之间可能存在的某种关系。

2.4.3 个人私有存储云实训

知识点：云存储概念的介绍；Hadoop与云存储的关系；hadoop的HDFS简单上传和下载的API使用

实验目的：使用Hadoop的分布式文件系统（HDFS）来模拟现实生活当中的云存储服务。

实验流程：学生可以通过web页面来访问云存储系统，学生注册自己的用户，登录到云存储系统；学生注册成功后，就已经在hadoop集群上拥有了系统分配的存储空间，然后用户登录成功，可以往自己的存储空间里上传图片和文件，还可以下载图片和文件，

同时可以删除图片和文件，查看自己空间的信息，浏览自己的文件等等。

相似业务推荐：网易有道云笔记

2.4.4 气象数据分析实训

知识点：云计算概念的介绍；Hadoop与云计算的关系；Hadoop的Map/Reduce的编程流程介绍

实验目的：通过使用Hadoop的Map/Reduce来模拟现实生活当中的云计算服务。

实验业务：该实验模拟的是一个全国的气温统计系统，老师代表气象管理中心员，拥有自己的超级用户；班级里的每个学生代表着全国内的各个省市，直辖市或者自治区。学生首先要在系统上注册该地区的名称和ID，注册成功后，可以登录到系统，登录成功后可以上传本地区一段时间的气象数据（数据格式：2012-11-13气温：<10度>湿度：<98.5%>等，系统会提供示例数据文件供下载），上传完成后则等待气象管理中心的统计。气象管理中心员老师通过查看各个地区是否都已上传了本地的气象数据，如果都完成，则可以执行统计命令来完成全国的气象数据统计，统计完成后，在页面上显示统计的结果。实验流程：基于web页面技术来实现上面的模拟业务逻辑，气象中心管理员老师拥护自己的管理用户，可以随时登陆系统，管理各个地区用户；学生则需要通过页面来注册他所代表的地区，然后登录到系统，上传本地区的气象数据文件，上传成功后等待气象中心管理员的统计；气象中心管理员老师则等待所有学生上传完成，然后可以点击页面的按钮来统计所有的数据，数据统计完成后，可以在页面查看全国平均温度和湿度的平均结果，包括单位时间内，温度和湿度的曲线示意图等。

相似业务推荐：中央气象台云分析系统

2.4.5 图书馆图书管理实训

知识点：Hadoop的HDFS和Map/Reduce的结合使用；深入了解HDFS和Map/Reduce 的一些高级API的使用；着重探讨Hadoop的云计算与现实中的业务逻辑的整合。

实验目的：通过hadoop的HDFS和Map/Reduce来实现一个图书馆图书管理系统，通过实验项目学生可以实现对图书馆的管理。

实验业务：学生可以下载一些书籍的文章，然后整理成一本书籍格式的文件，其包含：书名，作者，著作日期，内容等，并上传至hadoop集群服务器，上传成功后，然后学生进行添加，删除操作，并可以对书籍的名称，作者，著作日期，书籍内容等相关元数据进行文字搜索，例如：我可以查找一个作者“韩寒”，内容包括有“赛车”的课本，然后系统会显示其查询结果内容。

实验流程：学生还是使用原来登录系统进行登录或者注册，登录成功后，学生可以从网络或者本地计算机找一些书籍的文件，然后通过页面上传至图书管理系统，然后通过页面的功能按钮对书籍进行管理和建立索引，索引建立成功后，系统提示学生可以进行信息的检索了，然后学生可以利用系统来查找自己想要找的书籍。

相似业务推荐：百度文库文档管理

2.4.6 智能EMS速递云实训

知识点：物联网与云计算的结合，深入熟悉Hadoop的高级应用和API的掌握； Hadoop 的云存储和云计算与物联网技术的整合；探讨Hadoop云的存在的意义，优势和局限性。

实验目的：通过hadoop的云存储和云计算来实现一个快递员迅速取送快递的过程。

实现业务：系统会通过各种方式收集发送快递的信息，包括电话，手机和互联网平台等（这些数据通过系统模拟来实现），信息收集回来后，存储在hadoop的云存储服务器平台上，然后通过hadoop的云计算系统开始分析，分析完成后，会把离快递员最近的快件分配给一个快递员，这样达到一个资源最优化的处理。

实验流程：老师可以把自己模拟成快递信息数据采集终端（如上电话等），随时往hadoop云平台上上传数据信息；学生可以把自己模拟成快递人员，然后通过页面登录到云智能速递网，来领取自己的快件；云智能速递网会随时分析数字终端上传来的快递信息，然后通过快递的信息（如：经纬度）来分析该快件应该分配给哪个快递人员？（指所有快递人员中目前所在位置（经纬度）离该快件接送距离最近的一个），分配成功后，该快件就处于正在发送状态，然后快递人员可以通过页面来领取自己的快件，领取以后开始发送货物，发送成功后，可以提交货物发送的状态：成功或失败。

相似业务推荐：IBM智慧地球

2.4.7 物联网数据分析实训

云计算和大数据的研究需要大量的真实数据样本，基于物联网的海量实时传感数据可以作为大数据源研究的支撑。中智讯针对物联网技术开发了一套物联网信息化公共服务系统，提供开放程序接口能够快速构建物联网传感网络系统，智能网关能够实时处理海量高频数据进行与远端数据中心的接入和存储。

智云硬件库包含了所有的物联网底层硬件资源，实现真实物理系统的采集与控制，通过分析海量的物理大数据，根据应用需求进行决策管理，对执行设备进行自动化控制。硬件库可选择工业传感器、商用传感器或者教学传感器，类别包含各种感知器、执行器、采集器、摄像头、门禁、显示屏、电机设备、气象站、M2M路由、Android网关、Zigbee 工业无线节点等各种设备，为学生提供行业真实应用的硬件资源，用于支撑云计算大数据教学系统的数据分析、仓储、挖掘及决策，使学生在掌握基础的编程语言之后，可以根据自己的想法、创意进行各种云互联物联网项目的开发。

例：提供实验平台Cotex-A9嵌入式主机上实时在线监测3个以上（含3个）不同城市的雾霾数据，曲线实现最近1小时、最近1天、最近1周、最近1月、最近3个月等数据，并通过Hadoop分布式大数据技术对数据进行分析，通过饼图展示天气情况的分布情况.

图1

实验截图说明：在图1中显示了武汉、深圳、北京共3个城市最近1小时的雾霾数据曲线图分布情况；同时通过饼状图分别将3个城市的雾霾数据分析结果进行显示。

图2

实验截图说明：在图2中显示了武汉、深圳、北京共3个城市最近1天的雾霾数据曲线图分布情况；同时通过饼状图分别将3个城市的雾霾数据分析结果进行显示。

图3

实验截图说明：在图3中显示了武汉、深圳、北京共3个城市最近1周的雾霾数据曲线图分布情况；同时通过饼状图分别将3个城市的雾霾数据分析结果进行显示。

图4