基于Hadoop集群的分布式日志分析系统研究
万方数据
科技信息。高校讲坛ｏ２００９年第１５期
圈４形成双曲线
又如利用《超级画板》的“动画”等功能，可以开发出＜圆锥曲线随离心率变化》的课件，学生可以通过《超级画板》学习该解析几何知识。他们可以通过课件中的“动画”按钮让离心率ｅ产生动态变化。以此观察圆锥曲线一步步随着ｅ的变化，动态地变化——从椭圆变化到抛物线。再从抛物线变化到双曲线。【２１
这个课件在教师教授圆锥曲线的离心率时可以用到。它可以帮助学生理解知识，让学生在“做数学”中更加深刻地掌握知识。
２．２辅助解析几何解题教学
＜超级画板》可以对一些繁杂的题目进行直观动态地演示，使得题目知识点问的内在联系更容易＾现，使得学生解题思路更为明朗。解题能力有新的提升，可以对解析几何的解题教学提供辅助作用。
如：有些解析几何问题，可以被设计为让学生自主探究，通过学生的探究发现．让他们寻找解题办法，教师在这个过程只进行适时的介入指导。
题目：一个定圆Ｃ半径为ｒ，圆Ｃ上一动点Ｐ关于定点Ａ的对称点为Ｏ，将ＣＰ按逆时针方向绕Ｃ点旋转９０度。得到圆Ｃ上另一个点Ｍ，试求ＭＱ的最值，以及是否存在ｒ使Ｍ、Ｑ两点重合的问题。
该题意中的动点Ｐ、线段ＣＰ、ＣＭ、ＭＱ是不固定的。在传统教学中想让学生实际进行观察探究是有难度的，但是借助《超级画板》辅助教学。我们可以实现这个目的。可以《超级域板》的“旋转”等功能，开发出关于这道题目的课件，让学生进行自主探究活动。圈５ＭＱ量大值圈６ＭＱ两点重合学生只需拉动点Ｐ在圆Ｃ上滑动。或让Ｐ在Ｃ上动画，就可以直观形象地观察出Ｐ在何时ＭＱ最大或最小，再通过拖拉按钮ｒ，可以看出确实存在ｒ的某一个值．使Ｍ、Ｏ重合。
这样一来学生对题目有了一个图象形成和变化过程的感性认识。这就可以启迪学生的解题思路，方便他们寻找解题的方法、步骤，为最终利用代数方法的计算提供了一个动画思维的基础。
３．结束语‘
以上只是通过例子简单描述超级画板在解析几何概念教学、解题教学的辅助作用．但我们已经可以看出其在解析几何教学中的强大优势。超级画板是一款智能教育软件，它贴近我国的数学学科趁育，且提供免费版使用，广大数学教师都可以上网下载免费版使用。霹
【参考文献】
［１】张景中．彭翕成．动态几何教程［Ｍ】．北京：科学出版社，２００７．
［２］张景中．超级画板自由｛ＴｉＭ］．北京：科学出版社，２００６．３
［３］中华人民共和国教育部．普通高中数学课程标准（实验）【ｓ】．北京：人民教育出版社．２，００３．
作者简介：张越蚌，男，广东人．硬士研究生，主要研究方向为计算机自动推理厦应用软件。
李林，男，广东人，硕士研完生，主要研究方向为教育软件的研究和应用。
［责任编辑：张慧】
【上接第６０页）
ｓｕｍ＋２ｖａｌｕｅｓ．ｎｅｒｏ．ｇｅｔ０；
１
ｏｕｔｐｕｔ．ｅｏｌｌｅｅｔＯ【ｅｙ．Ｉｌ州ＩｎｔＷｒｌｔａｂｌｅ（ｓｕｍ））；
｝
Ｈａｄｏｏｐ的编程框架会自动将Ｍａｐ和Ｒｅｄｕｃｅ函数分不到不同节点上去计算，无徭人Ｊ二干预。
４．结束语
当数据存储和计算遇到瓶颈时，分布式技术相对于传统的向上扩展技术在伸缩性和成本上都具有巨大的优势。开源编程框架Ｈａｄｏｏｐ的出现，可以帮助我们更容易的使用分布式技术。本文讨论了基于ｌ－ｌａｄｏｏｐ集群的分布式日志分析系统，通过具体的代码说明了该系统的工作方式。可以看到在使用到并行的好处的同时。并没有增加多少编程的复杂度。在具体的项目中可以更多的考虑使用分布式技术来解决问题了。口
【参考文献】
［１］Ｈａｄｏｏｐ官方文档：ｈｔｔｐ：／／ｈａｄｏｏｐ．ａｐａｃｈｅ．ｏｒｇ／ｅｏｒｅＪｄｏｃｄ，２００８－１１－２４．
［２］Ｊａｖａ文档ｈ．ｐ：／／ｊａｖａ．８１１１＇Ｉ．ｃｏｍ／ｊａｖａｓｅ／ｖｅｆｅｒｅｎｃｅ／ｉｎｄｅｘ．ｊｓｐ．
【３］金蓓弘，曹冬磊，等译．ＧｅｏｒｇｅＧｏｕｌｏｕｒｉｓｊｅａｎＤｏｎｉｍｏｒｅ，Ｔｉｍｇｉｎｄｂｅｒｇ．分布式系统概念与设计。第四版．北京：机械工业出版社，２００８．
注释：
【ｌｌＧｏｏ尊ｅ三大般心技术指ＧＦＳ、ＭａｐＲｅｄｕｃｅ和ＢｉｇＴａｂｌｅ。
［责任编辑：翟成粱】
ｌ上接第８４页｝第一财经频道）
按照汪券法规和交易所规则的规定，上市公司的重大举措应通过指定媒定正式发布公告，否则就要受到相应的处罚。对公司的形象也会造成不利的影响。例（７）中的受访者就是顺应这一规定而选择了回避策略．将对问题的回答延迟到正式披露信息时。达到了维护企业利益的目的。
由以上实例分析可以看出，汉语财经访谈中受访者选择回避策略来应对问题是为了达到满足自己或自己所属企业需要的交际目标而动态地顺成心理或社会因素的结果。这种顺应过程有时可能受到不只一个语境因素的制约，常常是多个心理和社会因素共同起作用．并且同时受到两个交际目标的驱使，以上分析的是起主导作用的语境因素和主要的目标导向。另外。与回避策略有关的语境因素很多，难以穷尽。本文只是分析了其中常见的几个语境因素，用以说明受访者对回避策略的选择是一个动态的商讨性的顺应过程。ｅ
【参考文献】
ｎ］Ｖｅｒ眈ｈｕｅｒｅｎ，Ｊ．ＵｎｄｅｒｓｔａｎｄｉｎｇＰｒａ罂ｎ撕ｃ毫
嗍．Ｂｅｉｉｉｎ乎Ｆｏ托ｉｇｎｈｎ粤岫驴ＴｅａｃｈｉｎｇａｎｄＢｅｓｅａｒｃｈＰｒｅｓｓ。２０００．
作者简介：钠ｔ（１９７７－－）。女，四川宣宾人．博士。讲师，研克方向为语用学。
［责任缩辑：韩铭】
１０９万方数据
基于Hadoop集群的分布式日志分析系统研究
作者：王润华
作者单位：北京政法职业学院计算机系,中国,北京,100024
刊名：
科技信息
英文刊名：SCIENCE & TECHNOLOGY INFORMATION
年，卷(期)：2009，(15)
引用次数：0次
参考文献(4条)
1.Hadoop官方文档 2008
2.Java文档
3.金蓓弘.曹冬磊.George Geulouris.Jean Dollimore,Tim Kindberg分布式系统概念与设计 2008
4.Googe三大核心技术指GFS、MapReduce和BigTable
相似文献(9条)
1.学位论文朱珠基于Hadoop的海量数据处理模型研究和应用2008
数据是信息的载体，信息是数据的内涵，一般认为数据是信息系统的基础。利用计算机来处理数据，提取信息是信息系统的基本功能。在当今高度信息化的社会里，Web可以说是目前最大的信息系统，其数据具有海量、多样、异构、动态变化等特性。如何实现快速地从这些海量数据中提取出对企业有用的价值信息已成为程序员在开发应用软件的过程中碰到的最令人头疼的问题。 基于这个问题的出发点，本文在分析现有分布式储存和计算等关键技术基础上，结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力，提出了一种基于Hadoop的海量数据处理模型，并从数据结构设计、程序流程组织和编程技术的使用等几个方面来介绍这个模型的开发方法，最后将该模型应用于大型网站的web日志数据预处理过程中。针对该模型我们还设计了一种有效的基于分布式的预处理模式。该模式首先在各分布式服务器上进行关联匹配，然后将各个服务器上的挖掘结果合成。这有利于减轻网络频繁的通讯负担，体现并行计算、异步挖掘、异构数据规约的优势。同时，它允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。除了数据挖掘之外，该模型还可以应用在诸如图片存储、搜索引擎、网格计算等需要处理大数据量的网络应用中。 本课题的特点是将研究的模型与实际业务应用相结合，利用前沿的分布式框架技术来很好的满足项目的需求，并将模型部署到实例当中，用实验结果来检验模型的实用价值，比如高效率、低成本、可拓展性和易维护性等。在与原来的预处理系统相融合的基础上，我们还对初级的模型进行了性能的优化，主要包括：简化规则的改进、多任务的优先级设定和网络负载平衡算法的优化。
2.期刊论文吴宝贵.丁振国.Wu Baogui.Ding Zhenguo基于Map/Reduce的分布式搜索引擎研究-现代图书情报技术2007(8)
在对Map/Reduce算法进行分析的基础上,利用开源Hadoop软件设计出高容错高性能的分布式搜索引擎,以面对搜索引擎对海量数据的处理和存储问题.
3.会议论文孙兆玉.袁志平.黄宇光面向数据密集型计算Hadoop 及其应用研究2008
当前的数据密集型计算需要处理PB级数据集和GB级数据流，面临着大规模数据管理、复杂计算环境管理、可扩展计算平台等方面的难题。Hadoop是一种易扩展的分布式计算架构，能将廉价PC节点联合起来提供大型计算服务—其HDFS提供大规模存储管理，其Map-Reduce并行框架为用户提供容易使用的并行编程模式。本文研究了Hadoop架构并探讨了在数据密集型计算中的应用。
4.期刊论文蒋建洪.JIANG Jian-hong主要分布式搜索引擎技术的研究-科学技术与工程2007,7(10)
讨论了当前搜索引擎的主要技术以及这些技术的原理.介绍了基于P2P的搜索技术,以及JAXT搜索框架的基本原理,重点给出了基于Map/Reduce技术分布式搜索引擎的实现.对今后搜索引擎的发展也作出了相应的探讨.
5.学位论文钱彦江大规模数据聚类技术研究与实现2009
近年来，随着数据采集和存储技术的飞速发展，尤其是互联网的广泛应用，很多领域都积累了大量的数据。为了从数据中发现有用的信息和知识
，人们结合机器学习，数理统计，人工智能，数据库等技术，提出了数据挖掘。 聚类分析作为数据挖掘中的重要内容和基本工具，在发展迅速的互联网领域中有着广泛的应用，如搜索引擎中对搜索结果进行聚类，社区产品中通过用户聚类来发现兴趣相似用户，新闻网站通过聚类来挖掘焦点新闻，还有在问答系统中聚合相似的提问等都是互联网上很前沿的应用。 本文密切联系这些互联网实际应用，研究了大规模数据聚类技术，主要工作如下： (1)详细总结了大规模数据聚类技术。在深入学习各种聚类算法的基础上，本文详细总结了可以对大规模数据进行处理的聚类方法，具体有顺序法、分割法、取样法、总结法和并行分布式法。 (2)提出并实现了一个基于MPI并行计算的层次聚类算法。首先简要介绍了并行计算和MPI并行编程标准，然后以互联网新闻网页为聚类对象，提出了一个串行的凝聚层次聚类算法，接着对其进行了并行化改进，试验结果表明了该并行算法的正确性和有效性。 3)深入学习并描述了canopy—kmeans聚类算法在Hadoop平台上的实现细节和执行流程。首先介绍了(Goole的MapReduce分布式计算框架和Hadoop分布式计算平台，然后在Hadoop平台上，实现了canopy—kmeans聚类算法。 4)设计实现了一个通用的可扩展聚类系统。本文对该系统的设计思路、整体框架、执行流程、模块设计和主要数据结构等都进行了详实的描述。 本文的贡献和创新主要体现在下面三个方面： 1)经过大量的调研，总结了适合对大规模数据进行聚类的方法。 2)尝试了基于并行和分布式计算的聚类。主要贡献有：一、提出了一个串行的凝聚层次聚类方法，并使用MPI并行计算对其进行了改进；二、对在Hadoop平台上实现canopy—kmeans聚类的细节进行了详尽描述。 3)设计了一个聚类系统。创新点体现在：一、系统接口开放，模块间耦合性小，具有良好的可扩展性：二、提供灵活的聚类算法间的调度结合策略，可满足不同的聚类需求；三，配置方法新颖，使用Json格式(一种轻量级XML格式)文件进行系统配置。
6.期刊论文郑欣杰.朱程荣.熊齐邦.ZHENG Xin-jie.ZHU Cheng-rong.XIONG Qi-bang基于MapReduce的分布式光线跟踪的设计与实现-计算机工程2007,33(22)
提出了基于MapReduce架构实现分布式光线跟踪渲染的方案.该方案基于Hadoop实现,利用MapReduce架构简化了分布式程序设计.使用分布式计算进行光线跟踪,充分利用了现有低端硬件设备的处理能力.实验表明,该方案通过并行计算大大加快了渲染速度.
7.学位论文付志超基于Map/Reduce的分布式智能搜索引擎框架研究2008
随着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。作为企业，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等；作为普通网民，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料；作为技术人员，会把有代表性的搜索引擎作为研究对象。
搜索引擎经济的崛起，又一次向人们证明了互联网所蕴藏的巨大商机。互联网离开了搜索将只剩下空洞杂乱的数据，以及大量等待去费力挖掘的金矿。如今互联网中的信息每天以指数级的数量增长，面对海量数据的处理和存储，传统的集中式搜索引擎显得无能为力。另外传统搜索引擎系统一般都采用关键词匹配模式，无法理解用户搜索意图，使得用户在互联网上搜索自己真正需要的信息很困难。因此搜索引擎的分布式智能化是未来发展的趋势。
本文从研究和设计的角度出发，对分布式智能搜索引擎的相关理论和技术进行了详细的分析和讨论，将基于Map/Reduce的分布式智能搜索引擎框架研究分为三个层次，即分布式并行计算理论方法研究、搜索引擎原理的研究以及基于分布式的智能搜索引擎研究。论文主要研究的内容如下： 论述了目前搜索引擎的国内外发展现状、存在的问题以及发展趋势；分析了搜索引擎的工作原理以及各部分的主要功能；对分布式计算理论、网格计算、云计算、Map/Reduce分布式计算模型进行分析与研究。对开源搜索引擎工具包Lucene、开源分布式计算框架Hadoop进行了详细的分析与研究。 在基于Map/Reduce的分布式计算模型的基础上，借助语义词典，对分布式的智能搜索引擎系统进行了研究。设计并实现了基于Map/Reduce的分布式智能搜索引擎——IEBSou。重点阐述了IEBSou系统框架的实现。不仅给出了系统各模块之间的关系，而且还分析了各个模块的实现原理和思想。对IEBSou的
Map/Reduce基础框架进行了设计：结合Lucene设计了统一文档处理框架，并对中文分词中人名识别、新词的识别进行了研究；提出了基于Map/Reduce的网页消重算法；提出了通过构建概念集的方式来提供基于语义联想的搜索推荐词生成算法。借助语义词典，对用户搜索关键词的概念进行语义扩展，构造概念集，让系统智能的理解用户搜索意图，提高系统的查全率和查准确率。
8.学位论文蒋建洪基于分布式的搜索引擎框架研究和实现2007
随着互联网技术的飞速发展，网络中的信息也是呈几何级数爆炸增长，人们查阅资料已不是依靠有限范围内的网站来寻找，而是依靠搜索引擎对信息海洋中的海量数据进行访问了。搜索引擎也越来越普遍应用到各个层面中，大到整个互联网络的搜索，小到本地文件的搜索，本文正是基于搜索引擎的普遍化，设计并实现了一个分布式的搜索引擎框架，能够应用于不同的搜索方案。 本文首先介绍了 KM 分布式系统所使用到的工具包，并且分析了其中的一些原理和实现机制。随后重点介绍了Hadoop分布式编程框架的原理。KM分布式搜索框架是基于Hadoop实现的，所以它具有非常好的可扩展性。使用Map/Reduce技术能够高效而稳定的运行分布式的任务。本文还详细探讨了信息抓取模块中负责访问网络部分的效率分析，采用 DNS 预转换的方式加速网络爬虫的访问速度。采用运行在每一个节点上的分布式搜索服务器，能够提供每个分布式节点中的索引数据的搜索能力。重点阐述了 KM 分布式搜索系统框架的实现。不仅给出了系统各模块之间的关系，而且还分析了各个模块的实现原理和思想。在本文相关模块的开发中，还尝试了使用测试驱动的开发方法，先写测试代码后实现，能够快速的开发出需要的功能而又保证程序的健壮性。对于分布式的应用来说，需要多次的调试，所以这种方法也是非常有效的。
9.学位论文冯斌基于Lucene小型搜索引擎的研究与实现2008
随着网络的迅猛发展，一些企业和校园内部局域网的信息量也大幅增长。人们发现即使是获取局域网的信息也变得困难。目前虽然已经有google、百度这些优秀的通用搜索引擎，但是它们并不能很好的解决这个问题。一方面，通用搜索引擎的覆盖率都不太高，很多局域网的信息都无法完全搜集
：另一方面，通用搜索引擎的页面更新比较慢，信息的实时性、准确性都无法保证。本文以校园网为平台，在深入研究了通用搜索引擎基本原理、架构设计和核心技术的基础上，结合小型搜索引擎的个性化需求，构建了一个运行稳定，性能良好且具有可扩展性的小型搜索引擎系统。论文不仅完成了对整个搜索引擎系统框架的设计，而且基本上完成了所有的开发测试工作。主要工作以及创新如下： 1.利用了分布式处理模型Hadoop，搭建了系统分布式框架，提高了系统的整体性能。 2.针对搜索结果的不准确、滞后问题，分析了网络信息更新的特点，利用了Quanz作业调度系统，设计并实现了页面更新模块，提高了信息搜索的准确性和实时性。 3.基于Lucene软件包，设计实现了系统核心的索引和搜索模块，完成了对页面的索引和搜索。在此过程中，设计了页面解析框架，实现了对多种格式的文本解析；研究并改进了最大正向分词算法，提高了对中文信息的分词效率；
4.针对搜索结果中出现大量的重复页面的问题，研究了MD5算法实现对索引中重复页面的消除，部分优化了搜索结果。
5.通过在校园网上运行，分析了运行的数据，证明系统己成功达到了预期的目标。
本文链接：https://www.wendangku.net/doc/6e11917435.html,/Periodical_kjxx200915042.aspx
下载时间：2009年11月24日