WEB全文信息检索技术
WEB全文信息检索技术
摘要：本文探索了在INTERNET网上实现全文检索的技术。计论了从网上信息的标引、分类等预处理到组织信息检索的过程，并就智能检索技术的发展进行了阐述。
关键词：信息检索因特网全文检索
一、前言
Ｉｎｔｅｒｎｅｔ网是目前全球最大的、最有影响力的信息网络，它将政府、学校、图书馆、商务场所、研究机构和其它组织中的局域网（ＬＡＮ）集成为一个单一的、庞大的、跨越全球的通讯网络。越来越多的人们利用这一网络与世界各地的人进行交流。如何利用Ｉｎｔｅｒｎｅｔ网获取有价值的信息，已成为科研人员必备的一项基本技能。
因特网是一个开放型的巨大的信息资源库，拥有上千万台以上的主机和过亿的用户；并且由于因特网信息蕴含的无限丰富，信息组织、表达的直观、生动以及信息服务的方便性和多样性，愈来愈多的信息搜索者被其独特的魅力所吸引。而在近几年，因特网用户的数量更是成倍地增长。可见，因特网检索已成为实际上最普及、最受关注、最常涉及的信息检索领域。
二、概述
网上的信息具有数量大、形式多、内容广、专业性不强等特点，给情报搜集、分类、检索等工作带来了新的问题和挑战。如何充分利用因特网上的信息资源正成为情报科学研究者所关注的热点。全文信息检索就是概据Ｉｎｔｅｒｎｅｔ信息的特点而发展起来的一种检索方式。它主要指研究对整个文档信息的表示，存储、组织和访问，即根据用户的查询要求，从信息数据库中检索出相关信息资料。
全文检索的中心环节是文件内容表达、信息查询的获得以及相关信息的匹配。一个好的全文信息检索系统不仅要求将输出信息进行相关性排列，还应该能够根据用户的意图、兴趣和特点自适应和智能化地调整匹配机制，获得用户满意的检索输出。
要实现全文检索，首先必须对WEB信息进行预处理。
三、WEB信息的预处理
信息预处理的主要功能是过滤文件系统信息，为文件系统的表达提供一种满意的索引输出。其基本目的是为了获取最优的索引记录，使用户能很容易地检索到所需信息。
（１）格式过滤：信息预处理应该能够过滤不同格式的文档，以及图片、声音、视频等信息。这使得搜索引擎不仅能够检索文字，而且能够检索原始格式文件的所有信息。
（２）语词切分：语词是信息表达的最小单位，而汉语不同于西方语言，其句子的语词间没有分隔符因此需要进行语词切分。常用的语词切分方法有按词典进行最大词组匹配、逆向最大词组匹配、最佳匹配法，联想－回溯法、全自动词典切词等。近年来，又出现了基于神经元网络的和专家系统的分词方法和基于统计和频度分析的分词方法。
（３）词法分析：汉语语词切分中存在切分歧异，如句子“网球拍卖完了”，可以切分为“网球／拍卖完了”，也可以切分为“网球拍／卖完了”。因此需要利用各种上下文知识解决语词切分歧异。此外，还需要对语词进行词法分析，识别出各个语词的词干，以便根据词干建立信息索引。对于英语语词，建立索引之前首先要去除一些停顿词（如常见的功能词“ａ”，“ｔｈｅ”，“ｉｔ”等）和词根（如“ｉｎｇ”，“ｅｄ”，“ｌｙ”等）。
（４）词性标注和短语识别：在切分的基础上，利用基于规则和统计的方法进行词性标注。在此基础上，还要利用各种语法规则，识别出重要的短语结构。
（5）自动标引：从网页文档中提取出一组能最大程度上概括其内容特征、可作为用户检索入口的关键性信息，用该组信息对文文件进行标引，使用户可以通过输入关键信息检索到该文文件的简要信息，如标题、摘要、时间、作者和ＵＲＬ等，进一步点击可查询到该文
档．
（6）自动分类：建立并维护一套完整的分类目录体系，根据文文件的信息特征，计算出与其相关程度最大的一个或多个分类，将文档划归到这些分类中去，使用户可以通过浏览分类体系直接查询到该文档．
．
四、检索
检索包括文件信息表达和查询信息表达以及相关信息预测过程。
（１）信息表达：信息的表达有多种方式，如布尔表达、矢量空间表达、自然语言表达等，每种表达方式由应用系统服务者提出并由整个应用系统的目的和需求所决定，并对应于相应的存储模式和检索算法，信息查询和组织的效率，也就是速度和存储的空间在很大程度上决定了检索服务系统的性能。
（２）查询分析：用户端的查询信息首先要进行分析处理，提取出查询项索引、逻辑表达式或其它查询特征描述。和文件信息索引不同的是：查询索引处理是及时地提交处理形成索引，而文件信息索引是由搜索引擎按某种策略进行远程数据的搜索和获取预先生成的本地索引。查询索引和文件索引采取同样的表达方式，因此能够采取相似性估计算法检索出相关文件。
（３）查询扩展：近年来，为了提高信息检索的性能，将应用领域知识和索引、相关性、估计、查询表达相结合实现查询扩展，即查询索引还包括不在用户查询中出现的查询词部分。典型的知识库查询扩展应用如图１所示，知识库中存储的知识为原始查询增添了相关词，从而扩展了原始查询。
（４）查询词的选择策略：
·非独立词：非独立词指的是和查询词具有较大相关性的词。但是预先必须计算文件集合中的所有词之间的相关性。
·反馈词：根据用户反馈的文件信息，按照在相关文件和非相关文件中词的出现频率和分布决定出重要的词，将这些词增加到用户查询中。
·交互式选择：用户从通过上述策略得出的待选词中决定最后的查询词。
反馈网络属于人机交互范畴，目的在于提高查询性能和针对性。不同的用户根据实际情况提供不同的反馈信息，不同的信息检索服务系统按照其功能与检索方法也有不同的反馈结构和交互方式，因此查询结果也不尽相同。
（5）信息检索模型：信息检索系统的核心是搜索引擎，它需要从大量复杂信息中，筛选出符合用户需要的信息。根据搜索引擎查找相关信息方式的不同，可将信息检索分为：布尔逻辑模型、模糊逻辑模型、矢量空间模型以及概率模型等。
布尔逻辑模型布尔逻辑模型是最简单的检索模型，也是其他检索模型的基础。标准布尔逻辑模型为二元逻辑，即一系列对应于文件特征的二元变量。这些变量包括从文件中提取的文本检索词，有时也包括一些更为复杂的特征，如数据、短语、私人签名和手工加入的描述子。在布尔模型中有确切的文件特征表达集合。用户可以根据检索项在文档中的布尔逻辑关系递交查询。匹配函数由布尔逻辑的基本法则确定。所检索出的文档或者与查询相关，或者与查询无关。查询结果一般不进行相关性排序。
模糊逻辑模型为了处理精度和复杂性之间的矛盾，引入了模糊逻辑模型，它以逻辑真值为［０，１］的模糊逻辑为基础的，以隶属函数概念来描述现象差异的中间过渡。在查询结果处理过程中引入模糊逻辑运算，将所检索的文件信息和用户的查询要求进行模糊逻辑比较，按照相关性的优先次序排出查询结果，在布尔检索中借助模糊逻辑模型能够克服布尔逻辑查询结果的无序性。
矢量空间模型和布尔检索模型不同，矢量空间模型中查询和文件都映射为同一ｎ维空间矢量。利用奇异值分解（ＳＶＤ）、查询词和文件的内部结构联系，通过欧几里德距离和余弦法则作相似性比较，根据矢量空间的相似性，排列查询结果。矢量空间模型不仅可以方便地产生有效的查询结果，而且能够提供查询结果分类，为用户提供准确定位所需的信息。
概率模型在信息检索中存在不确定性问题，对查询本身来说，它不能唯一地表示信息需求，对于结果来说，定查询结果的正确与否。对于布尔检索也是如此，因为查询的提交本身就是一种不确切方式。为了解决在布尔检索模型中的不确定性问题，引入了概率检索模型。该模型基于概率排队理论：当文件按相关概率递减原则排列时可以获得最大的检索性能。五、全文信息检索技术的发展
目前的全文检索技术还存在着一些未尽人意的结果，主要是通常的信息检索系统性能较低，原因是将孤立词和词汇术语作为查询描述子，因而文件内容的相似性较差。智能化信息检索是人工智能和信息检索的相结合的产物。它能使信息检索系统“理解”用户的信息需要和文件包含的信息内容。它在对内容的分析理解、内容表达、知识学习、推理机制，决策等基础上实现检索的智能化。
目前人工智能和信息检索的结合主要包括三方面：（1）信息检索和专家系统：主要研究方向是开发一个专家中介系统来协助查询形成、搜索策略选择以及预测检索文件；（2）信息检索和自然语言处理：它实际上是以字或词为符号的一种符号系统。目前自然语言处理对信息检索的应用仍停留在简单语言处理上，例如确认词根和词组等。（３）信息检索和知识表达：此领域的研究主要是通过应用领域知识来理解文件和查询的信息内容。
目前，虽然某些在ＷＷＷ上的信息检索服务系统采取了智能用户代理的等方式，可以根据用户事先定义的信息检索要求，在网络上实时监视信息源，如指定Ｗｅｂ页面的更新、网络新闻、电子邮件等，并将用户所需的信息通过电子邮件等方式，主动提供给用户，减少用户检索信息的时间。但是商用信息检索系统仍主要以布尔模糊逻辑为主，辅以部分自然语言的处理。智能化信息检索技术的发展，特别是知识学习和知识库以及人机交互方式的应用，将大大提高信息检索服务系统的精度和相关性。随着智能化技术的发展，全文信息检索技术必将更广泛地应用于网上信息检索领域。
附：参考文献
1）、WWW上的全文信息检索技术，金燕等，计算机应用研究，1999年第一期，P40-43 2）、全文数据库建库原理与应用技术，王兰成等，情报学报，1999年第4期3）、H T Ng, W B Goh, K L Low. Feature Selection, Perceptron Learning, and a Usability Case Study for text Categorization. 20th annual international ACM SIGIR conference on Research and development in information retrieval, July 27-31, Philadelphia, 1997, 67～73
4)、MicrosoftCorporation.VisualInterDev6.0Programmer’s
Guide［M］.希望电子出版社，1999
5)、杨文清，黄宜华，张福炎. 中文Web文档库全文检索技术研究与实现. 中文
信息学报，1999，13(4): 49～56
英文文献原文
The contributions of this dissertation are as follows:
1. A Chinese Web page classification algorithm that is based on SVM-Decision Tree is presented. The multiple-class classifier is composed of SVM and binary decision tree and used for Chinese Web page classification. The category whose amount of training examples is maximum is selected as the category that can be identified by current classifier and the training data of remain categories is used as negative examples when a new classifier is constructed. It can reduce the train scale of SVM classifier and improve the training efficiency. During the test process, each classifier is called in the order that it was constructed. The experiments show that it not only reduces the size of train set, but also has very high training efficiency. Its precision and recall are also very good.
2. A Chinese Web page classification algorithm that is based on the combination of SVM-Decision tree and clustering is proposed. For multi-class classification, the classifiers are composed of SVM and binary decision tree. Combined with some clustering method, we select those negative examples that may be support vectors with high probability and add them to the SVM training set. Any page can be classified by comparing the distance of clustering centers or by SVM. Experiments show that this method can greatly reduce the train scale of SVM classifiers and improve the training efficiency. Its precision and recall are also very high.
3. A valid method to use the unlabeled web page data to improve the classifier which has only a few labeled training examples is designed. It first selects some web pages with high similarity and appropriate difference from the unlabeled web page pool using vector space model and adds these unlabeled examples to the labeled training set. SVM classifiers are retrained and used for classification again. Experiments show that this method can use the unlabeled data effectively and enhances the training set. It improves the classification recall and reduces the need for labeled training examples.
4. An open Chinese web document classification system is designed and implemented. Several Chinese web page classification algorithms and research work on using unlabeled data to improve classification performance presented in this thesis are integrated into this system. It is also designed according to the practical need of experiments and use. Modular architecture is adopted to facilitate functional expansion and
performance improvement.
5. The application of character-based indexing technology to the search of Chinese web documents is studied. Because Chinese Web documents deal with many fields and change quickly, it is difficult to create a dictionary large enough for the information processing demand. Different meanings occur often during Chinese word segmentation and can result in segmentation errors. Some results are skipped over or some errors occur during the process of searching some words because of these problems. The recall and precision are low in these cases. Organization structure, retrieval algorithm and compression of character-based indexing is discussed in detail. Byte aligned compression method is proposed. The structure and implementation of the entire system are described at last. This system is proved to have good response time and precision and be a practical one by tests.
自然语言处理技术在中文全文检索中的应用
3本文为国家社会科学基金项目“基于中文X ML 文档的全文检索研究”的成果之一,项目编号:04CT Q005。 ●熊回香,夏立新(华中师范大学 信息管理系,湖北 武汉 430079) 自然语言处理技术在中文全文检索中的应用 3 摘 要:自然语言处理技术是中文全文检索的基础。首先介绍了全文检索技术及自然语言处理技术,接着详细地阐述了自然语言处理技术在中文全文检索中的应用,并对目前基于自然语言处理技术的中文全 文检索技术的局限性进行了分析,探讨了中文全文检索技术的未来发展方向。 关键词:自然语言处理;全文检索;智能检索 Abstract:Natural language p r ocessing technol ogy is the basis of Chinese full 2text retrieval .This paper firstly intr oduces the full 2text retrieval technol ogy and natural language p r ocessing technol ogy .Then,it gives a detailed 2descri p ti on of the app licati on of natural language p r ocessing technol ogy in Chinese full 2text retrieval .The p resent li m itati ons of the Chinese full 2text retrieval system based on natural language p r ocessing technol ogy is als o ana 2lyzed .Finally,the paper exp l ores the devel opment trend of Chinese full 2text retrieval technol ogy in future . Keywords:natural language p r ocessing;full text retrieval;intelligent retrieval 随着社会网络化、信息化程度的日益提高,网上信息呈指数级剧增,人们越来越强烈地希望用自然语言同计算机交流,并能方便、快捷、准确地从互联网上获得有价值的信息,因此,自然语言处理技术和中文全文检索技术成为当今计算机科界、语言学界、情报学界共同关注的课题,并共同致力于将自然语言处理技术的研究成果充分运用到全文检索中,从而促进了全文检索技术的发展。 1 全文检索技术 全文检索是一种面向全文和提供全文的检索技术,其核心技术是将文档中所有基本元素的出现信息记录到索引库中,检索时允许用户采用自然语言表达其检索需求,并借助截词、邻词等匹配方法直接查阅文献原文信息,最后将检索结果按相关度排序返回给用户。因而索引数据库的建立是全文检索系统实现的基础,它以特定的结构存储了数据资源的全文信息,从而为全文检索系统提供可检索的数据对象。在中文全文检索系统中,建立索引库的前提是运用自然语言处理技术对中文信息进行基于词(字)、句、段落等更深层次的处理。 2 自然语言处理技术 自然语言是指作者所使用的书面用语,在信息检索中包括关键词、自由词和出现在文献题名、摘要、正文或参 考文献中的具有一定实质意义的词语[1]。自然语言处理 (Natural Language Pr ocessing,NLP )是语言信息处理的一 个重要分支,在我国就是中文信息处理。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法,具体来说就是用计算机对包括汉语(字)的形、音、义等信息及词、句子、篇章的输入、输出、存储和识别、分析、理解、生成等多方面的加工处理[2]。由于自然语言处理侧重于词、句子、篇章,因而词法分析、句法分析、语义分析、语用分析、语境分析便构成了自然语言处理研究内容的基础部分。 211 词法分析 词法分析包括词形和词汇两个层次,其中词形主要是对各种词形和词的可识别部分的处理。如前缀、后缀及复合词的分析;词汇的重点在于复合对词操作和词汇系统的控制。其主要目的是有助于确认词性以及做到部分理解词与词、词与文档之间的关系,提高检索的效率。由于计算机内部存储的中文信息没有明显的词与词之间的分隔符,因此,在中文全文检索系统中,词法分析首要任务之一是对文本信息进行词语切分,即汉语自动分词,汉语自动分词是中文信息处理中的关键技术,也是中文全文检索的瓶颈,只有对汉语词进行正确的切分后,才能准确地提取文献的特征信息,对文献进行正确标引,才能正确分析用户的查询意图,为用户提供准确的信息服务。 212 句法分析 句法分析是对句子中词汇短语进行分析以便揭示句子的语法结构。目的是通过对句型结构的分析,自动抽取复
web信息检索
1. F1值 F1 值是检索性能评价的一个测度，它综合了精度和查全率，将两者赋予同样的重要性来考虑。F1的计算由下面的公式决定 F1 值的其他说法 还表示调和平均值 调和平均数定义为：数值倒数的平均数的倒数。其数值恒小于算术平均数。 计算查准率p 和查全率r 的调和平均数作为度量指标。F 的取值在[0,1]。 2. 查全率 查全率(Recall)：检出的相关文档个数与相关文档集合总数的比值，即R=|Ra| / |R| 其中，对某个测试参考集,信息查询实例为I ，I 对应的相关文档集合为R 。假设用某个检索策略对I 进行处理后，得到一个结果集合A 。令Ra 是R 与A 的交集 3. 查准率 查准率(Precision)：检出的相关文档个数 与检出文档总数的比值，即P=|Ra| / |A| 4. 支持向量机（SVM ） 解决小样本、非线性及高维模式识别，SVM 将n 维空间中的点，通过一个n-1维的超平面分开。通常这个被称为线性分类器。有很多分类器都符合这个要求。但是我们还希望找到分类最佳的平面，即使得属于两个不同类的数据点间隔最大的那个面，该面亦称为最大间隔超平面。如果我们能够找到这个面，那么这个分类器就称为最大间隔分类器。 5. Deep Web Deep Web 是可以通过Internet 访问的数据库，它们所承载的信息量是目前Internent 的500倍！对Deep Web 网页的爬取有垂直搜索引擎，元搜索引擎 6. 向量空间模型（VSM ） 通过给查询或文档中的索引词分配非二值权值来实现。 文档的向量空间模型 ?词典, ∑={k1,k2,…kt} ?d=
一种基于Lucene的中文全文检索系统
—94— 一种基于Lucene 的中文全文检索系统 苏潭英1，郭宪勇2，金 鑫3 （1. 解放军信息工程大学电子技术学院，郑州 450004；2. 北京飞燕技术公司，北京 100072；3. 解放军通信指挥学院，武汉 430010）摘 要：在开源全文索引引擎Lucene 的基础上，设计了一个中文全文检索系统模型，该模型系统由7个模块组成，索引模块、检索模块是其中的核心部分。论述了模型的整体结构，分析设计了索引及检索模块，通过具体的索引技术和检索技术来提高整个系统的检索效率。该系统增加了加密模块，实现对建立的全文索引进行加密处理，增强了信息的安全性。 关键词：全文检索；Lucene ；倒排索引 Chinese Full-text Retrieval System Based on Lucene SU Tan-ying 1, GUO Xian-yong 2, JIN Xin 3 (1. Institute of Electronic Technology, PLA Information Engineering University, Zhengzhou 450004; 2. Technology Company of Beijing Feiyan, Beijing 100072; 3. Institute of PLA Communication Command, Wuhan 430010) 【Abstract 】This paper proposes a model of Chinese full-text retrieval system based on Lucene which is an open source full-text retrieval engine,and expatiates its frame. This model is composed of seven modules, among which the index module and the search module are the core parts. It designs them concretely, and improves the search efficiency of the full-text retrieval system with index technology and search technology. The system model concludes an encryption module to encrypt the index and increases the system security. 【Key words 】full-text retrieval; Lucene; inverse index 计 算 机 工 程Computer Engineering 第33卷 第23期 Vol.33 No.23 2007年12月 December 2007 ·软件技术与数据库· 文章编号：1000—3428(2007)23—0094—03 文献标识码：A 中图分类号：TP391 1 中文全文检索系统 全文检索技术是一个最普遍的信息查询应用，人们每天在网上使用Google 、百度等搜索引擎查找自己所需的信息，这些搜索引擎的核心技术之一就是全文检索。随着文档处理电子化、无纸化的发展，图书馆、新闻出版、企业甚至个人的电子数据激增，如何建立数据库、管理好自己的数据，是亟待解决的问题，而全文检索是其中一个非常实用的功能。全文检索产品实际上是一个内嵌该项技术的数据库产品[1]。 西文的全文检索已有许多成熟的理论与方法，其中，开放源代码的全文检索引擎Lucene 是Apache 软件基金会Jakarta 项目组的一个子项目，它的目的是为软件开发人员提供一个简单易用的工具包，方便在目标系统中实现全文检索的功能。很多项目使用了Lucene 作为其后台的全文索引引擎，比较著名的有： (1)Jive ：Web 论坛系统； (2)Cocoon ：基于XML 的Web 发布框架，全文检索部分使用了Lucene ； (3)Eclipse ：基于Java 的开放开发平台，帮助部分的全文索引使用了Lucene 。 Lucene 不支持中文，但可以通过扩充它的语言分析器实现对中文的检索。本文在深入学习研究Lucene 的前提下，设计了一个中文的全文检索系统，对其核心的索引模块和检索模块进行了阐释，并添加了加密模块对索引信息加密，增强了系统的安全性。 2 系统的总体结构 本模型总体上采用了Lucene 的架构。Lucene 的体系结构如表1所示，它的源代码程序由7个模块组成。 表1 Lucene 的组成结构 模块名 功能 org.apache.Lucene.search 搜索入口 org.apache.Lucene.index 索引入口 org.apache.Lucene.analysis 语言分析器 org.apache.Lucene.queryParser 查询分析器 org.apache.Lucene.document 存储结构 org.apache.Lucene.store 底层IO/存储结构 org.apache.Lucene.util 一些公用的数据结构 本文通过扩充Lucene 系统来完成中文的全文检索系统，Lucene 包含了大量的抽象类、接口、文档类型等，需要根据具体应用来定义实现，本文对其作了如下扩充修改： (1)按照中文的词法结构来构建相应的语言分析器。Lucene 的语言分析器提供了抽象的接口，因此，语言分析(analyser)是可以定制的。Lucene 缺省提供了2个比较通用的分析器SimpleAnalyser 和StandardAnalyser ，但这2个分析器缺省都不支持中文，因此，要加入对中文语言的切分规则，需要对其进行修改。 (2)按照被索引的文件的格式对不同类型的文档进行解析，进而建立全文索引。例如HTML 文件，通常需要把其中的内容分类加入索引，这就需要从org.apache.lucene.子document 中定义的类Document 继承，定义自己的HTMLDocument 类，然后将之交给org. apache.lucene.index 模块写入索引文件。Lucene 没有规定数据源的格式，只提供 作者简介：苏潭英(1981－)，女，硕士研究生，主研方向：数据库全文检索；郭宪勇，高级工程师；金 鑫，硕士研究生 收稿日期：2007-01-10 E-mail ：sutanyingwendy@https://www.wendangku.net/doc/ca9418014.html,
法规标准库及全文检索系统
法规标准库及全文检索系统 一、产品研发背景 为了使电力企业相关人员更方便的查询到国家、行业发布的各种法律、法规及行业标准，避免企业自己搜索各种文件时，不能保证文件信息、版本的正确性和及时性，提高工作效率。开发法规标准库及全文检索系统。 二、产品特点 内容齐全 由中电方大上传和管理软件数据库中文件，上传文件包括电力行业的法律、法规、行业标准和各企业集团规定，还包含一些对这些法律、法规解读的文章或论文，对法律、法规进行更深层次的挖掘理解。企业在生产、培训时使用该软件可以更方便的查询到需要的文件。 文件实时更新 系统中的文件由中电方大进行管理，对每一个文件的过期或作废等，中电方大都保持实时更新，保持系统的与时俱进，保证文件为实时适用的最新版本。 文件查询方便 文件的查询搜索功能，即能输入文件名或关键字在数据库中全部搜索，又能按照法律、法规、标准或是生效年份等不同条件进行查询搜索。 全文所搜功能 此功能是系统的一大亮点。为了便于查询文件及对应文件内容的搜索，系统支持全文搜索功能。如在搜索界面输入“压力容器”，在结果列表中即会显示相关文件的名称，也会显示部分带有关键字的内容。
三、产品功能 系统支持相关法律法规的全面搜索及预览功能。 四、产品解决问题 系统解决了企业在需要获取相关法规文件时不能确定文件的准确性、最新性等问题。 五、提供的产品服务 ◆提供本产品终身更新服务 ◆提供功能个性化开发服务 六、产品适用范围 产品适用于各类企业 七、公司简介 北京中电方大科技股份有限公司，成立于2004年，新三板挂牌上市公司（证券代码430411，简称：中电方大）。 本公司是处于软件和信息技术服务业的安全与应急服务提供商，为电力企业用户提供安全与应急管理及信息化及对应的整体解决方案。公司于2012年获得国家电监会（现国家能源局）颁发的电力安全生产标准化一级评审机构资质，从事发电企业、电力建设企业的安全生产标准化评审业务。于2014年获得国家能源局指定的电力安全培训机构资质，为发电企业、电网企业相关负责人和安全生
计算机网络第六章课后答案
第六章应用层 6-01 因特网的域名结构是怎么样的？它与目前的电话网的号码结构有何异同之处？ 答： （1）域名的结构由标号序列组成，各标号之间用点隔开： … . 三级域名 . 二级域名 . 顶级域名 各标号分别代表不同级别的域名。 （2）电话号码分为国家号结构分为（中国 +86）、区号、本机号。 6-02 域名系统的主要功能是什么？域名系统中的本地域名服务器、根域名服务器、顶级域名服务器以及权限域名权服务器有何区别？ 答: 域名系统的主要功能：将域名解析为主机能识别的IP地址。 因特网上的域名服务器系统也是按照域名的层次来安排的。每一个域名服务器都只对域名体系中的一部分进行管辖。共有三种不同类型的域名服务器。即本地域名服务器、根域名服务器、授权域名服务器。当一个本地域名服务器不能立即回答某个主机的查询时，该本地域名服务器就以DNS客户的身份向某一个根域名服务器查询。若根域名服务器有被查询主机的信息，就发送DNS回答报文给本地域名服务器，然后本地域名服务器再回答发起查询的主机。但当根域名服务器没有被查询的主机的信息时，它一定知道某个保存有被查询的主机名字映射的授权域名服务器的IP地址。通常根域名服务器用来管辖顶级域。根域名服务器并不直接对顶级域下面所属的所有的域名进行转换，但它一定能够找到下面的所有二级域名的域名服务器。每一个主机都必须在授权域名服务器处注册登记。通常，一个主机的授权域名服务器就是它的主机ISP的一个域名服务器。授权域名服务器总是能够将其管辖的主机名转换为该主机的IP地址。 因特网允许各个单位根据本单位的具体情况将本域名划分为若干个域名服务器管辖区。一般就在各管辖区中设置相应的授权域名服务器。 6-03 举例说明域名转换的过程。域名服务器中的高速缓存的作用是什么？ 答： （1）把不方便记忆的IP地址转换为方便记忆的域名地址。 （2）作用：可大大减轻根域名服务器的负荷，使因特网上的 DNS 查询请求和回答报文的数量大为减少。 6-04 设想有一天整个因特网的DNS系统都瘫痪了（这种情况不大会出现），试问还可以给朋友发送电子邮件吗？ 答：不能； 6-05 文件传送协议FTP的主要工作过程是怎样的？为什么说FTP是带外传送控制信息？主进程和从属进程各起什么作用？ 答： （1）FTP使用客户服务器方式。一个FTP服务器进程可同时为多个客户进程提供服务。FTP 的服务器进程由两大部分组成：一个主进程，负责接受新的请求；另外有若干个从属进程，负责处理单个请求。 主进程的工作步骤： 1、打开熟知端口（端口号为 21），使客户进程能够连接上。 2、等待客户进程发出连接请求。 3、启动从属进程来处理客户进程发来的请求。从属进程对客户进程的请求处理完毕后即终止，但从属进程在运行期间根据需要还可能创建其他一些子进程。 4、回到等待状态，继续接受其他客户进程发来的请求。主进程与从属进程的处理是并发地
全文检索系统整体方案
1全文检索系统方案 1.1全文检索需求 1)系统提供模糊检索、分类搜索、高级复合搜索、全文检索、图片内容 检索、跨库检索等多种检索途径； 2)支持字索引和词索引； 3)检索条件具有完整的关键词布尔逻辑运算AND、OR、NOT能力，支持 复合式布尔逻辑运算查询，并且可以配合多组左括号"("与右括号")"作 关键词查询优先级的设置； 4)提供用户多次递进查询的功能，用户可根据上一次查询关键词得到的 检索结果集，增加查询关键词与缩小搜索日期范围，而得到更准确的 查询结果集； 5)能够支持对以上文件中的中文（简体/繁体）、英文、日语、韩语内容 实现关键字检索； 6)支持对Word、TXT、PDF等多种主流文档格式全文检索，并提供开发 接口以支持特殊文档格式的全文检索； 7)在数据源数据发生更新时，能在索引库中反映出来，保证搜索的信息 为最新，即支持增量索引机制； 8)用户可自行设定时间，让系统自动定时进行更新索引； 9)对于百万级记录数的搜索以及结合模糊搜索等查询方式，搜索时间不 得超过10秒； 10)提供跨数据源、数据格式的搜索；
11)同过相关性搜索，能够把和搜索条件相关联的信息搜索出来； 12)不但能够对图片的描述信息进行搜索，还能对图片内容的检索； 13)提供COM与SOAP的搜索接口(Interface) 可让其它应用程序或查询网 页能够提供用户查询入口和查询结果的呈现，用户可通过应用程序或 浏览器访问全文检索服务器，提交查询条件，可在浏览器中查看检索 结果； 14)查询结果集中应包含结果集总数、命中的结果文件的完整路径，以及 符合关键词出现的内容片断； 15)在搜索结果集中，关键词应被标识出来，用特殊的字体及颜色和其他 文字进行区别，查询者可在查询结果片断中一目了然的看到关键词出 现的位置； 16)查询结果可按照关键词命中次数，命中结果文件的修改时间，大小等 条件进行排序； 17)可提供用户对检索命中结果文件在索引库中进行标记，从而再次检索 时，不在标记过的文件中进行查询； 1.2全文检索系统总体方案 系统将采用以下全文检索流程。
全文检索功能
在应用中加入全文检索功能 ——基于java的全文索引引擎lucene简介 作者：车东 email: https://www.wendangku.net/doc/ca9418014.html,/https://www.wendangku.net/doc/ca9418014.html, 写于：2002/08 最后更新： 版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本声明 https://www.wendangku.net/doc/ca9418014.html,/tech/lucene.html 关键词：lucene java full-text search engine chinese word segment 内容摘要： lucene是一个基于java的全文索引工具包。 1.基于java的全文索引引擎lucene简介：关于作者和lucene的历史 2.全文检索的实现：luene全文索引和数据库索引的比较 3.中文切分词机制简介：基于词库和自动切分词算法的比较 4.具体的安装和使用简介：系统结构介绍和演示 5.hacking lucene：简化的查询分析器，删除的实现，定制的排序，应用接口的扩展 6.从lucene我们还可以学到什么 基于java的全文索引/检索引擎——lucene lucene不是一个完整的全文索引应用，而是是一个用java写的全文索引引擎工具包，它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。 lucene的作者：lucene的贡献者doug cutting是一位资深全文索引/检索专家，曾经是v-twin搜索引擎(apple的copland操作系统的成就之一)的主要开发者，后在excite担任高级系统架构设计师，目前从事于一些internet底层架构的研究。他贡献出的lucene的目标是为各种中小型应用程序加入全文检索功能。 lucene的发展历程：早先发布在作者自己的https://www.wendangku.net/doc/ca9418014.html,，后来发布在sourceforge，2001年年底成为apache基金会jakarta的一个子项目：https://www.wendangku.net/doc/ca9418014.html,/lucene/ 已经有很多java项目都使用了lucene作为其后台的全文索引引擎，比较著名的有： ?jive：web论坛系统； ?eyebrows：邮件列表html归档/浏览/查询系统，本文的主要参考文档“thelucene search engine: powerful, flexible, and free”作者就是eyebrows系统的主要开发者之一，而eyebrows已 经成为目前apache项目的主要邮件列表归档系统。 ?cocoon:基于xml的web发布框架，全文检索部分使用了lucene ?eclipse:基于java的开放开发平台，帮助部分的全文索引使用了lucene
全文检索需求及选型
全文检索需求 档案管理系统 需求整理 1、一个文档有多个附件； 2、文档支持格式：pdf，CEB，txt，html，office（world、excel）、wps 文档，tf、tff； Ceb格式，目前在档案系统已经存在一个对应的txt文件； 现在有两种方案来处理ceb格式：一是把档案系统中的ceb对应的txt文件，迁移过来；二是ceb文件重新转换一次。 3、权限管理，权限有个人、角色、部门分类； 4、检索的内容包括，结构化数据和非结构化数据；可以支持定制查询；可以分多个字段查询（比如：档案类型、查询年份） 5、准确显示摘要和高亮显示； 6、矩阵分析（智能分析相似文档，数据挖掘的一部分）； 档案的现在方案 a)使用lucene2.x 版本； b)系统是二级部署；
c)每个网点比如福建，按地市创建索引文件。每个地市的索引文 件的大小在800M左右，这样单个档案系统的一个网点的索引 总大小应该在10G左右（目前的大小）。 d)每个地市只可以单独查询，目前没有实现合并查询。 e)新建索引和增量索引是分开处理的。 f)权限控制，目前是用户在请求单个文档的时候才验证权限；在 索引和检索两个层次上没有做控制。 其他特点 知识管理系统 需求整理 1、目前是一个文档对应一个附件，但以后有可能支持多个附件； 文档支持格式：知识管理中各种文档都会存在，尽量支持大部分数据格式。 2、支持的格式可以灵活扩展。 3、权限管理，权限有个人、角色、组织、部门等层次； 4、检索的内容包括，结构化数据和非结构化数据；可以支持定制查询； 5、准确显示摘要和高亮显示； 6、智能分析（相似文档，数据挖掘的一部分）；
全文检索系统整体方案
1全文检索系统方案 1.1 全文检索需求 1)系统提供模糊检索、分类搜索、高级复合搜索、全文检索、图片内容检 索、跨库检索等多种检索途径； 2)支持字索引和词索引； 3)检索条件具有完整的关键词布尔逻辑运算AND、OR、NOT能力，支持复 合式布尔逻辑运算查询，并且可以配合多组左括号"("与右括号")"作关 键词查询优先级的设置； 4)提供用户多次递进查询的功能，用户可根据上一次查询关键词得到的检 索结果集，增加查询关键词与缩小搜索日期范围，而得到更准确的查询 结果集； 5)能够支持对以上文件中的中文（简体/繁体）、英文、日语、韩语内容实 现关键字检索； 6)支持对Word、TXT、PDF等多种主流文档格式全文检索，并提供开发接 口以支持特殊文档格式的全文检索； 7)在数据源数据发生更新时，能在索引库中反映出来，保证搜索的信息为 最新，即支持增量索引机制； 8)用户可自行设定时间，让系统自动定时进行更新索引； 9)对于百万级记录数的搜索以及结合模糊搜索等查询方式，搜索时间不得 超过10秒； 10)提供跨数据源、数据格式的搜索； 11)同过相关性搜索，能够把和搜索条件相关联的信息搜索出来； 12)不但能够对图片的描述信息进行搜索，还能对图片内容的检索； 13)提供COM与SOAP的搜索接口(Interface) 可让其它应用程序或查询网页 能够提供用户查询入口和查询结果的呈现，用户可通过应用程序或浏览 器访问全文检索服务器，提交查询条件，可在浏览器中查看检索结果； 14)查询结果集中应包含结果集总数、命中的结果文件的完整路径，以及符 合关键词出现的内容片断； 15)在搜索结果集中，关键词应被标识出来，用特殊的字体及颜色和其他文 字进行区别，查询者可在查询结果片断中一目了然的看到关键词出现的 位置； 16)查询结果可按照关键词命中次数，命中结果文件的修改时间，大小等条 件进行排序； 17)可提供用户对检索命中结果文件在索引库中进行标记，从而再次检索 时，不在标记过的文件中进行查询；
整合全文检索系统解决方案
用友知识管理检索系统解决方案 维思比科技（北京）有限公司 2010年4月20日
目录 （一）现状及总体目标 (1) 1.1、背景介绍 (1) 1.2、现状 (1) 1.3、总体目标 (1) 1.4 总体设计 (2) 1.4.1 系统结构图 (3) 1.4.2信息采集工作原理 (3) 1.4.2.1 数据采集 (3) 1.4.2.2 数据分析 (5) 1.4.2.3 数据写入 (5) （二）功能及界面设计 (5) 2.1整合搜索 (6) 2.1.1拼音提示.............................................................................. 错误！未定义书签。 2.1.2拼音纠错 (7) 2.1.3 相关推荐 (7) 2.1.4 多维度智能导航 (7) 2.1.5 二次检索 (7) 2.1.6 精确查询与模糊查询 (7) 2.1.7多维度排序 (7) 2.2 硬件配置 (7) 2.7.1 服务器配置 (7) 2.7.2 网络带宽配置 (8) 2.7.3 软件配置 (8) （三）开发进度安排 (8) 3.1 实施流程 (8) 3.2 实施进度 (8) （四）投资概算 (9) 4.1 软件产品 (9) 4.2 定制开发 (9) 4.3 培训费用 (9) 4.4 总体预算 (9) （五）运行维护和培训 (12) 5.1 维护 (10) 5.2 培训 (11) 5.2.1．培训人员 (11) 5.2.2．培训目标 (12) 5.2.3. 培训内容 (12) 5.2.4. 培训方式 (12) 5.2.5. 培训时间 (12) (六) 附录 (13)
全文检索工具
通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户。 尤其是中文全文检索技术的研究始于1987年左右，已经有一些商品化的软件。Internet 的普及使得全文检索技术日益成熟起来，其应用已突破传统的情报部门和信息中心的局限性，使该技术的最广大用户变成互联网的用户和桌面用户，而不再仅局限于情报检索专家。 全文检索技术以各类数据如文本、声音、图像等为对象，提供按数据的内容而不是外在特征来进行的信息检索，其特点是能对海量的数据进行有效管理和快速检索。它是搜索引擎的核心技术，同时也是电子商务网站的支撑技术。全文检索技术可应用于企业信息网站、媒体网站、政府站点、商业网站、数字图书馆和搜索引擎中。我们知道，企业信息化是电子商务的基础，企业建立自己的商务站点，构建企业内部信息发布平台，并与其他网站间建立安全的信息发布通道和交换通道，建立电子商务的应用并以数据为中心建立应用平台等方面都离不开全文检索。该检索技术可跨越所有的数据源，支持多种数据和信息格式，对检索结果可按商业分类规则进行排列，也能满足用户特定的知识检索请求，将所有不同信息查询中的命中结果按相关性或分类排列，提供不同格式的信息浏览功能。 [1] 从搜索结果来源的角度，全文搜索工具又可细分为两种，一种是拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如Google、Fast/AllThe Web、AltaVista、Inktomi、Teoma、WiseNut、百度等；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。 “网络机器人”或“网络蜘蛛”是一种网络上的软件，它遍历Web空间，能够扫描一定IP地址范围内的网站，并沿着网络上的链接从一个网页到另一个网页，从一个网站到
SQL Server 2005全文检索技术
SQL Server 2005全文检索技术 1. 前言 1.1 应用背景 随着我国政府和企业信息化的快速普及和发展，来自于供应链、企业生产系统、办公自动化（或公文行文）系统、人事绩效系统、财务管理系统等无一不在积累着各类数据。不仅如此，来自于企业门户网站、通过各种手持移动设备传递的会议通知、保存在业务员笔记本和PDA中的离线产品报价和短期个人销售信息也不一而足。可以说信息无处不在、无时不在、无设备不在，但是它们是否可以在您的手中，即政府和企业的信息系统是否可以把员工需要的信息呈送到他们的指尖之下，这恐怕是另一回事了。信息化普遍实施后，数据获取方式、获取手段的局限，是国内信息化建设主要面临的尴尬现状。 图1：Your Data,Any Where、Any Time、Any Device. But not on your finger. 1.2 主要检索技术的区别 有了数据但是没有被使用，那么这些数据不应该被称为信息。它们无非是不断充斥设备和网络的比特而已，但是如何把数据提供给必要的人员，检索技术是其中非常有效的途径之一。本文笔者主要基于微软平台，针对SQL Server 2005提供的全文检索技术进行介绍。与关系数据查询、多维数据库查询和基于XML 的XQuery、XPath不同，全文检索技术主要处理对象是基于超大数据量的文本数据和结构化的二进制数据上类似LIKE的模糊查询。主要区别见下表。
表1：全文检索与关系数据库查询、多维数据查询、XML查询的对比 2. 全文检索技术简要介绍 2.1 基本概念 如上文所说，全文检索主要应用领域如下： （1）大数据量、超大数据量的结构化平文本数据和模糊匹配查找（Char、Varchar、Nvarchar）。 （2）大数据量、超大数据量的层次型XML数据展开后的查找---含模糊查找（Xml type）。 （3）标准格式的二进制非结构化Word数据的查找（VarBinary[max]、Image）。 与其他检索技术不同的是，全文检索不仅仅提供词汇层次的查询支持，而且可以根据语言环境、不同语言的特点，甚至于用户自定义的配置提供不同语义级的大容量数据模糊匹配检索支持。为了提供语义层次的检索，SQL Server 2005的全文检索明确了如下几个概念： （1）断字符（Word Breaker）：因为对于不同的语言，哪些符号可以用于词汇的分割是不同的，因此全文检索支持不同语言环境的不同断字符。 （2）标记（Token）：是由断字符标识的词或字符串。由于划分是基于特定语言完成的，因此也可以做到语义层次的支持。 （3）干扰词（Noise Word）：主要是那些经常出现，但是对于检索没有多少帮助的词汇。例如：英语中的“a”、“and”、“is”、“the”，汉语中的“的”、“不”、“以”、“了”等。SQL Server 2005中提供配置文件，允许用户自定义自己语言、甚至与本行业、本企业的检索干扰词。 （4）词干分析器（Stemmer）：通过断字符分割后，根据具体的语言和该语言的语法规程生成的特定词汇的变形。
WEB全文信息检索技术
WEB全文信息检索技术 摘要：本文探索了在INTERNET网上实现全文检索的技术。计论了从网上信息的标引、分类等预处理到组织信息检索的过程，并就智能检索技术的发展进行了阐述。 关键词：信息检索因特网全文检索 一、前言 Ｉｎｔｅｒｎｅｔ网是目前全球最大的、最有影响力的信息网络，它将政府、学校、图书馆、商务场所、研究机构和其它组织中的局域网（ＬＡＮ）集成为一个单一的、庞大的、跨越全球的通讯网络。越来越多的人们利用这一网络与世界各地的人进行交流。如何利用Ｉｎｔｅｒｎｅｔ网获取有价值的信息，已成为科研人员必备的一项基本技能。 因特网是一个开放型的巨大的信息资源库，拥有上千万台以上的主机和过亿的用户；并且由于因特网信息蕴含的无限丰富，信息组织、表达的直观、生动以及信息服务的方便性和多样性，愈来愈多的信息搜索者被其独特的魅力所吸引。而在近几年，因特网用户的数量更是成倍地增长。可见，因特网检索已成为实际上最普及、最受关注、最常涉及的信息检索领域。 二、概述 网上的信息具有数量大、形式多、内容广、专业性不强等特点，给情报搜集、分类、检索等工作带来了新的问题和挑战。如何充分利用因特网上的信息资源正成为情报科学研究者所关注的热点。全文信息检索就是概据Ｉｎｔｅｒｎｅｔ信息的特点而发展起来的一种检索方式。它主要指研究对整个文档信息的表示，存储、组织和访问，即根据用户的查询要求，从信息数据库中检索出相关信息资料。 全文检索的中心环节是文件内容表达、信息查询的获得以及相关信息的匹配。一个好的全文信息检索系统不仅要求将输出信息进行相关性排列，还应该能够根据用户的意图、兴趣和特点自适应和智能化地调整匹配机制，获得用户满意的检索输出。 要实现全文检索，首先必须对WEB信息进行预处理。 三、WEB信息的预处理 信息预处理的主要功能是过滤文件系统信息，为文件系统的表达提供一种满意的索引输出。其基本目的是为了获取最优的索引记录，使用户能很容易地检索到所需信息。 （１）格式过滤：信息预处理应该能够过滤不同格式的文档，以及图片、声音、视频等信息。这使得搜索引擎不仅能够检索文字，而且能够检索原始格式文件的所有信息。 （２）语词切分：语词是信息表达的最小单位，而汉语不同于西方语言，其句子的语词间没有分隔符因此需要进行语词切分。常用的语词切分方法有按词典进行最大词组匹配、逆向最大词组匹配、最佳匹配法，联想－回溯法、全自动词典切词等。近年来，又出现了基于神经元网络的和专家系统的分词方法和基于统计和频度分析的分词方法。 （３）词法分析：汉语语词切分中存在切分歧异，如句子“网球拍卖完了”，可以切分为“网球／拍卖完了”，也可以切分为“网球拍／卖完了”。因此需要利用各种上下文知识解决语词切分歧异。此外，还需要对语词进行词法分析，识别出各个语词的词干，以便根据词干建立信息索引。对于英语语词，建立索引之前首先要去除一些停顿词（如常见的功能词“ａ”，“ｔｈｅ”，“ｉｔ”等）和词根（如“ｉｎｇ”，“ｅｄ”，“ｌｙ”等）。 （４）词性标注和短语识别：在切分的基础上，利用基于规则和统计的方法进行词性标注。在此基础上，还要利用各种语法规则，识别出重要的短语结构。 （5）自动标引：从网页文档中提取出一组能最大程度上概括其内容特征、可作为用户检索入口的关键性信息，用该组信息对文文件进行标引，使用户可以通过输入关键信息检索到该文文件的简要信息，如标题、摘要、时间、作者和ＵＲＬ等，进一步点击可查询到该文
全文检索系统整体方案
1 全文检索系统方案 5.1 全文检索需求 1)系统提供模糊检索、分类搜索、高级复合搜索、全文检索、图片内容检 索、跨库检索等多种检索途径； 2)支持字索引和词索引； 3)检索条件具有完整的关键词布尔逻辑运算AND、OR、NOT能力，支持复 合式布尔逻辑运算查询，并且可以配合多组左括号"("与右括号")"作关 键词查询优先级的设置； 4)提供用户多次递进查询的功能，用户可根据上一次查询关键词得到的检 索结果集，增加查询关键词与缩小搜索日期范围，而得到更准确的查询 结果集； 5)能够支持对以上文件中的中文（简体/繁体）、英文、日语、韩语内容实 现关键字检索； 6)支持对Word、TXT、PDF等多种主流文档格式全文检索，并提供开发接 口以支持特殊文档格式的全文检索； 7)在数据源数据发生更新时，能在索引库中反映出来，保证搜索的信息为 最新，即支持增量索引机制； 8)用户可自行设定时间，让系统自动定时进行更新索引； 9)对于百万级记录数的搜索以及结合模糊搜索等查询方式，搜索时间不得 超过10秒； 10)提供跨数据源、数据格式的搜索； 11)同过相关性搜索，能够把和搜索条件相关联的信息搜索出来； 12)不但能够对图片的描述信息进行搜索，还能对图片内容的检索； 13)提供COM与SOAP的搜索接口(Interface) 可让其它应用程序或查询网页 能够提供用户查询入口和查询结果的呈现，用户可通过应用程序或浏览 器访问全文检索服务器，提交查询条件，可在浏览器中查看检索结果； 14)查询结果集中应包含结果集总数、命中的结果文件的完整路径，以及符 合关键词出现的内容片断； 15)在搜索结果集中，关键词应被标识出来，用特殊的字体及颜色和其他文 字进行区别，查询者可在查询结果片断中一目了然的看到关键词出现的 位置； 16)查询结果可按照关键词命中次数，命中结果文件的修改时间，大小等条 件进行排序； 17)可提供用户对检索命中结果文件在索引库中进行标记，从而再次检索 时，不在标记过的文件中进行查询；
信息检索6
第六章基于搜索引擎的信息检索 （一）搜索引擎技术原理
搜索引擎技术原理—搜索引擎概述及组成 搜索引擎(Search Engine)是互联网上专门用于检索的网站的统称，目前已多达数百上千种，包括通用万维网搜索引擎(Web Search Engines)、通用元搜索引擎(Meta-Search Engines)和各种专用搜索引擎三大类型。 搜索引擎的起源可以上溯到1990年由加拿大蒙特利尔大学学生Alan Emtage 开发的Archie。Archie用于检索分散在各FTP服务器上的文件，但其工作原理与现在的搜索引擎很接近。1993年底，人们认识到既然所有网页都可能有连向其他网站的链接，那么从跟踪一个网站的链接开始，就有可能检索整个互联网，这一简单想法就是今天搜索引擎的基本原理。1994年，Yahoo!和Lycos问世，成功地使搜索引擎的概念深入人心。1995年后，搜索引擎进入了高速发展时期，被誉为仅次于门户网站的互联网第二大核心技术。搜索引擎的技术原理和检索方法与DIALOG等专业文献型信息检索系统不同，有它自己的特点。
搜索引擎技术原理—搜索引擎概述及组成 （1）搜索器(Searcher) 20世纪90年代，“机器人”(Robot)一词在计算机编程者中用于特指某种能以人类无法达到的速度不间断地执行某项任务的软件程序。由于专门用于检索Web信息的“机器人”程序像蜘蛛一样在网络间爬来爬去，因此，作为Web搜索器的“机器人”就被称为“网络蜘蛛”(Spider)。“网络蜘蛛”的功能就是在互联网中不断漫游，发现和搜集信息。作为一个计算机程序，搜索器日夜不停地运行，尽可能多、尽可能快地搜集各种类型的新信息，并定期更新已经搜集过的旧信息，以避免出现死链接和无效链接。 （2）索引器(Indexer) 索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，并生成文档库的索引表。索引项有客观索引项和内容索引项两种：客观索引项与文档的语意内容无关，如作者名、URL、更新时间等等；内容索引项则是用来反映文档内容的，如关键词及其权重、短语、单字等等。
Oracle的全文检索技术
Oracle的全文检索技术 Oracle一直致力于全文检索技术的研究，当Oracle9i Rlease2发布之时，Oracle数据库的全文检索技术已经非常完美，Oracle Text使Oracle9i具备了强大的文本检索能力和智能化的文本管理能力。Oracle Text是Oracle9i采用的新名称，在Oracle8/8i中它被称作Oracle interMedia Text。使用Oracle Text，可以方便而有效地利用标准的SQL工具来构建基于文本的新的开发工具或对现有应用程序进行扩展。应用程序开发人员可以在任何使用文本的Oracle数据库应用程序中充分利用Oracle Text搜索，应用范围可以是现有应用程序中可搜索的注释字段，也可是实现涉及多种文档格式和复杂搜索标准的大型文档管理系统。Oracle Text支持Oracle数据库所支持的大多数语言的基本全文搜索功能。 虽然大多数大型数据库都支持全文检索，但Oracle在这方面无疑是最出色的。Oracle 能搜索多种格式的文档，如Word,Execl,PowerPoint,Html,PDF等等。但在使用中也发现有遗憾的地方，Oracle Text无论使用何种过滤器（INSO_FILTER或NULL_FILTER）及何种词法分析器（BASIC_LEXER,CHINESE_VGRAM_LEXER还是CHINESE_LEXER）都不能检索出中文内容的文本文档（TXT,RTF）。 1 Oracle Text的体系架构 下图是Oracle Text的体系架构： 图1 Oracle Text的体系架构 Oracle Text 索引文档时所使用的主要逻辑步骤如下： （1）数据存储逻辑搜索表的所有行，并读取列中的数据。通常，这只是列数据，但有些数据存储使用列数据作为文档数据的指针。例如，URL_DATASTORE 将列数据作为URL 使用。如果对本地文件进行检索，只要指定DATASTORE中FILE_DA TASTORE参数为文件的路径即可。