基于Web日志挖掘的个性化网络广告模型

总第243期2010年第1期

计算机与数字工程

Co mputer&Dig ital Eng ineering

V ol.38N o.1

103

基于Web日志挖掘的个性化网络广告模型*

武 瑛1),2) 朱 岩2)

(陕西师范大学计算机科学学院1) 西安 710062)(西安文理学院2) 西安 710065)

摘 要 网络广告的飞速发展使得广告的效果越来越受重视。通过研究如何从W eb日志中挖掘出用户对于网络广告的交互行为,设计出个性化网络广告系统。对提高网络广告平台的效益,增强网络广告效果具有重要的意义。

关键词 W eb日志挖掘;网络广告;个性化

中图分类号 T P393

Personalized Web A dvertising M odel Based on Web Log Mining

W u Y ing1),2) Z h u Y an2)

(Colleg e of Comput er Science,ShaanXi N o rmal U niversit y1),Xi an 710062)

(Xi an U niv ersity of A r ts and Science,X i an 710062)

Abstract W ith the rapid dev elo pment of W eb advert ising,t he effectiveness o f adver tising becomes mo re and mor e im po rtant.By mining the actual user and W eb ads inter act ion modes fro m the Web log s,this paper designs a personalized W eb advert ising sy stem.T he system can improv e t he profits o f o nline adver tising plat form and enhance the effect iveness of online advert ising.

Key Words Web log mining,Web advertising,per so nalizatio n

Class Numb er T P393

1 引言

随着网络广告在市场营销中的比重的增大,研究如何提高网络广告效果越来越重要。在传统媒体上发布的广告,被不加区分地送到所有的受众面前,从而缺乏针对性,广告得不到应有的效应[1]。为此,本文通过研究从Web日志挖掘出用户与网络广告的交互行为,目的是得到网络广告的个性化技术,在此基础上构造出个性化网络广告系统模型,将网络广告定向发送给最应该看到该广告的受众和最想看到该广告的受众,从而提高网络广告平台的效率,增强网络广告的效果,节约广告主的市场营销成本,提高客户的忠诚度。2 基于Web日志挖掘的个性化网络

广告模型

基于Web日志挖掘的网络广告模型主要分为数据收集和预处理,用户行为模式挖掘和个性化广告定向三个阶段。系统主要通过用户的Web日志数据,挖掘出用户的行为模式,分析用户访问的网页的内容,并与用户偏好信息库比较,找出最相关的兴趣内容和行为模式,以此进行个性化广告定向。基于Web日志挖掘的网络广告模型如图1所示。

3 数据的收集和预处理

数据的收集和预处理是模型的基础,其主要是对Web日志数据进行预处理,将其转化为易于挖

*收稿日期:2009年9月18日,修回日期:2009年10月16日

作者简介:武瑛,女,硕士研究生,研究方向:数据挖掘。朱岩,男,助理实验员,研究方向:数据挖掘。

104

武 瑛等:基于W eb日志挖掘的个性化网络广告模型第38卷

掘的格式。由于Inter net传输协议H T TP的无状态性以及客户端和代理服务器端缓存的存在,从服务器中获得的Web日志包含许多与挖掘目标不相关的数据项,所以需要对Web日志数据预处理,其主要包括数据过滤、用户识别、会话识别和路径补充等环节。

图1 基于Web日志挖掘的网络广告模型

3.1 数据过滤

通常的推荐系统都是建立在B/S模式下基于用户行为产生的具有针对性的信息推送系统,Web日志是主要数据来源[2]。对于网络广告系统而言,还需要知道广告的显示和点击行为,因而还需要广告显示日志和广告点击日志,它们一般嵌入在网页代码中。在网站服务器上的原始Web日志中,记录了所有的访问日志,而进行Web使用挖掘只需要对包含有用信息的日志条目进行挖掘。通常在Web日志文件中,图片、音频、视频、脚本文件等并不是用户的主动请求,不是用户行为的一部分,被认为是冗余的,而被删除[3]。虽然这些记录可能包含了非常重要的广告访问数据,但是我们只需从Web日志文件挖掘出基本的Web访问模式。而广告访问模式,我们从广告显示和点击日志中进行挖掘。

3.2 用户识别

用户识别的主要任务是从清洗过的Web日志文件中,识别出每个用户,进而对用户进行分类或聚类。由于本地缓存、代理服务器和防火墙的存在使得用户识别工作复杂化。通常用户识别采用启发式规则:不同的IP地址就认为是不同的用户;如果IP地址相同,但是用户使用的浏览器或操作系统不相同,则认为他们是不同的用户;如果当前用户请求的页面同用户已经浏览过的页面之间没有超链接关系,则也认为他们是不同的用户。

3.3 会话识别

用户的访问行为隐藏于会话当中,会话识别的目的在于发现每个用户的访问特性和网站的频繁访问路径。Web服务器上的访问日志由许多条访问记录组成。一个会话就是用户在一次浏览过程中所访问页面URL及时间序列,定义如下: Sessio ns i=,0

对于会话识别,目前主要采用基于时间的会话识别方法[4]。普遍采用的是基于会话持续时间的方法,因为用该方法进行会话识别可以减少计算量。它通过设置会话持续时间上限或单个页面逗留时间上限进行分析。如果时间超过了某一阈值,可以认为是新的访问会话开始。研究结果表明[5],设定30min为会话持续时间的阈值是比较好的。因此本文采用基于会话持续时间为30min!的方法来进行会话识别,如果会话持续时间超过30m in,则认为用户已经开始了一个新的会话。

3.4 路径补充

当用户会话识别完成后,如果在用户会话序列中当前访问页和参照页之间没有直接的超链接关系,那么可能是用户使用浏览器的Back按钮,调出本地缓存的页面,这时要根据站点的拓扑结构图,将日志文件中遗漏的页面补充在路径中。如果在用户访问的历史记录中,有多个页面可以直接链接到该页面,那么将选定在请求时间上最接近当前请求页面的页面作为本次请求的参照补充页面,进行路径补充。

4 用户行为模式挖掘

经过数据预处理后,就要对这些数据进行挖掘处理,从中发现有用的模式以供分析使用。用户行为模式分析就是将数据挖掘技术应用于Web日志的过程。

模式挖掘指标数据主要有以下几种:网站的访问量相关数据;页面、用户之间的相似性数据等;用户、页面所属的类别;页面之间的关联性;在时间上有前后顺序关系页面的关联关系;特定变量之间的关系确定等。模式发现可采用的技术包括统计分析、关联分析、序列分析、聚类分类分析及依赖模型分析等。

本文采用K means聚类算法,将Web日志聚类。日志聚类主要包括网页聚类和会话聚类(用户聚类)。系统使用向量空间模型(VSM)来表征网页和会话[6]。根据日志中当前活动用户的页面访问、广告显示和用户搜索等信息,将用户访问类似的网页和广告聚为一类,并对会话进行聚类,将具

2010年第1期计算机与数字工程105

有相似兴趣的用户放入同一类中,存入用户偏好信

息库。由于每个用户会话向量对应一个广告访问

向量,因此获取K个用户会话聚类也就得到K个

用户广告访问聚类。聚类的平均用户广告访问向

量反映了典型的用户广告访问行为。

在用户每一步请求后,系统根据当前的用户访

问向量和用户会话向量,分别将用户匹配到最相近

的关键词聚类和会话行为聚类,前者反映了用户当

前感兴趣的内容,比如数码相机,移动硬盘等;后者

将用户匹配到具有相似行为的用户组,比如网页浏

览者、购买者、影迷等。用户的匹配采用余弦相似

度计算。余弦相似度定义如下:

设p i和p j均是n维空间上的两个向量,且p i

={a i1, ,a in},p j={a j1, ,a jn},那么向量p i和

向量p j的余弦相似度sim(p i,p j)定义为:

sim(p i,p j)=

?n

k=1

a ik a jk

?n

k=1

(a ik)2?n k=1(a jk)2

,(0 s im(i,j)

1

系统通过分析历史数据,生成与当前用户行为兴趣最相近的用户集,将他们感兴趣的项推荐给当前用户。

在计算每个聚类集内广告页面的推荐度时,采用关联规则的方法。首先将每个聚类表示成一个维数为n的加权矢量,n为不同url的数目。簇中心矢量表示为:

c i=

w i j=w(ur l j,c i)=n i j

N i

,ur l j#c i 0,否则

式中,n i j表示第i个簇中的第j个url在簇中出现的频次,用N i表示第i个簇中用户事务的总数,w i j 表示第i个簇中第j个U RL的权值。

当一个新的用户开始一个会话时,将该会话与簇对照。根据簇与当前活动会话的相似程度,获得每个簇的匹配度。定义簇c为c=,当前活动会话s为s={s1,s2, ,s k},如果用户在会话s中已经访问过页面ur l j,则s i=1,否则s i =0。簇的匹配度的计算方法如下:

match(s,c)=

?

k

u c k s k |s|?k(u c k)2

设 为最小匹配度阈值,若match(s,c) ,则将簇c作为一个活动会话s的匹配簇。一旦计算出当前活动会话的匹配度以后,可以决定将匹配簇中的哪些页面链接推荐给用户。

给定一个簇c和一个活动会话s,簇中的一个页面u的推荐值为:

Re c(s,u)=w(u,c)match(s,c)f s(s,u)

式中,f s(s,u)表示距离因子[7]。设站点的拓扑结构图G(V,E),V!U,D(u1,u2)为图G中u1和u2间最短路径长度,s为滑动窗口,页面u和s间的距离D(u,s)为m in{D(u,u i)|u i#s}。一般地,页面u与s的距离越大,页面u得分越高,页面u得分因子为:f s(u,s)=log(D(u,s))+1。

设页面推荐度的阈值为 ,则每个簇中所有推荐值大于或等于最小推荐阈值的页面构成当前活动会话s的推荐集:

Recomm(s)={u c i|c#C且Re c(s,u c i) }

推荐集中的所有页面链接按推荐值排序,对于来源于多个簇的页面,其最大值为推荐值。

5 个性化广告

系统通过Web日志挖掘,将Web内容聚类成不同的主题,将用户行为聚类为不同的广告访问模式,系统在用户的每步请求后,将用户的交互信息与使用偏好相匹配,把用户匹配到最相似的模式。并针对用户对广告的点击行为,对广告向量进行排序,最近访问的广告将赋予较小的权重,然后在广告定向规则的影响下,将推荐广告传送到客户端,实现个性化广告的定向。

个性化推荐系统性能的主要度量指标有两个:覆盖率(Co ver ag e)和准确率(Precisio n)。若用RS 表示所有推荐页面的集合,US表示用户喜欢的所有页面的集合,那么覆盖率和准确率可分别采用式(1)、式(2)进行计算:

Cov erage=|US?RS|

|US|

(1)

Pr ecision=

|US?R S|

|RS|

(2)

为了使系统的性能总体上最优,M obasher[8]等提出了一个新的度量指标,该指标综合利用覆盖率和准确率,计算公式如下:

F=2%Cov er age%Pr ecision

Coverage+Precision

(3)

这几个指标界定了个性化推荐系统的性能和效率。

106 武 瑛等:基于W eb 日志挖掘的个性化网络广告模型

第38卷

6 结语

Web 挖掘具有极大的商业价值和应用前景,个性化网络广告是网络广告的发展趋势,也是Web 挖掘的应用之一。本文设计的个性化网络广告系统具有良好的理论依据和一定的实用价值。下一步研究的重点是Web 使用挖掘系统和网站的整合以及实时响应速度的提高等。

参考文献

[1]Allen C,K ania D,Yaeckel B.Internet Wor ld Guide to

O ne T o O ne Web M ar ket ing [M ].New Y or k (N Y ):Jo hn Wiley and Sons,1998

[2]杨怀珍,丛晓琪,刘枚莲.基于协同过滤的电子商务推

荐系统建模研究[J].中国管理信息化,2008,11(21):96~98

[3]童恒庆,梅清.Web 日志挖掘数据预处理研究[J].现

代计算机,2004(3):6~9

[4]严奉华,刘建平,杨凡丁.改进的Web 访问日志会话识

别算法[J].计算机工程与设计,2008,29(21):5685~5687

[5]Catledge L ,P itkow J.Characterizing Brow sing Behav

io rs on the Wo rld W ide Web[J].Comput er Netw or ks and ISDN Systems,1995(6):1065~1073

[6]Salto n G.Automat ic T ext P rocessing T he T r ansfor ma

tio n,A nalysis,and Retrieval o f Info rmation by Co m puter[M ].A ddison W esley,1989

[7]宋爱波,董逸生,陈静.基于Web lo g 的模式发现及应

用的研究[J].小型微型计算机系统,2002,23(11):1331~1335

[8]M obasher B,Da i H.Improv ing the effectiveness of

collabor ativ e filter ing on anonymo us web usag e data[C]&In:A nand S,M obasher B.(Eds.)P ro c o f the U CAI 2001Wo rksho p o n Intellig ent T echniques for W eb Per sonalizatio n,Ber lin:Spr inger Ver lag ,2001:53~60

(上接第11页)

来说,第8组和第10组效果比较好。因为开始的取值范围比较大,导致参数设置比较粗,如果想得到精度高的结果,可以在比较好的参数附近再进行试验。比如对于Oliver 30来说,第10组效果比较好,参数范围可以取第10组附近的值,从表3可知,N 取值范围为[180,200],交叉概率p c 取值范围为[0.45,0.55]和变异概率p m 取值范围为[0.12,0.14],再作均匀设计试验。图1和图2是0liver 30问题和att 48

问题的最好解。

5 结语

参数设置的好坏直接影响算法的性能,设置参数问题是一项重要工作。采用的均匀设计方法是选择有代表性的参数组合进行试验,从而减少了大量试验次数,运行效率明显提供。当然采用均匀设

计试验得到的参数也比较粗,为得到更精细的结果,可在比较好的参数附近进行二次均匀设计试验,或者增加试验水平数。

参考文献

[1]储理才.基于M AT L AB 的遗传算法程序设计及T SP

问题求解[J].集美大学学报,2001,6(1):14~19[2]肖磊,张阿卜,徐文进.用M A T L AB 求解T SP 问题的

一种改进遗传算法[J].厦门理工学院学报,2005,13(4):38~42

[3]纪怀猛,蔡海滨.一种基于改进遗传算法的T SP 问题求

解方法[J].计算机与数字工程,2009,37(4):10~12[4]何大阔,王福利,张春梅.基于均匀设计的遗传算法参

数设定[J].东北大学学报,2003,24(5):419~411[5]何大阔,王福利,贾明兴.遗传算法参数初始种群与操

作参数的均匀设计[J].东北大学学报,2005,26(9):828~831

[6]黄永青,梁昌勇,张祥德.基于均匀设计的蚁群算法参

数设定[J].控制与决策,2006,21(1):93~96

[7]高尚,陈建忠.基于均匀设计的粒子群优化算法参数设

定[J].石油化工高等学校学报,2007,20(3):12~15[8]高尚,杨静宇.群智能算法及其应用[M ].北京:中国水

利水电出版社,2006:112~117

[9]方开泰.均匀设计与均匀设计表[M ].北京:科学出版

社,1994:30~45

网站日志分析的具体方法和步骤【基础】

网站日志挖掘分析的方法 日志文件的格式及其包含的信息 ①2006-10-17 00:00:00②202、200、44、43 ③218、77、130、24 80 ④GET ⑤/favicon、ico ⑥Mozilla/5、0+(Windows;+U;+Windows+NT+5、1;+zh-CN;+rv:1、8、0、 3)+Gecko/20060426 +Firefox/1、5、0、3。 ①访问时间;②用户IP地址;③访问的URL,端口;④请求方法(“GET”、“POST”等); ⑤访问模式;⑥agent,即用户使用的操作系统类型与浏览器软件。 一、日志的简单分析 1、注意那些被频繁访问的资源 2、注意那些您网站上不存在资源的请求。常见的扫描式攻击还包括传递恶意参数等: 3、观察搜索引擎蜘蛛的来访情况 4、观察访客行为 应敌之策: 1、封杀某个IP 2、封杀某个浏览器类型(Agent) 3、封杀某个来源(Referer) 4、防盗链 5、文件重命名 作用: 1、对访问时间进行统计,可以得到服务器在某些时间段的访问情况。 2、对IP进行统计,可以得到用户的分布情况。 3、对请求URL的统计,可以得到网站页面关注情况。 4、对错误请求的统计,可以更正有问题的页面。 二、网站挖掘 根据所挖掘的网站数据的类型,可以将网站数据挖掘分为以下三类:网站内容挖掘(网站Content Mining)、网站结构挖掘(网站Structure Mining)、网站使

用挖掘(网站Usage Mining)(也称为网站日志挖掘)。 ①网站内容挖掘。网站内容挖掘就是指从文档的内容中提取知识。网站内容挖掘又分为文本挖掘与多媒体挖掘。目前多媒体数据的挖掘研究还处于探索阶段,网站文本挖掘已经有了比较实用的功能。网站文本挖掘可以对网站上大量文档集合的内容进行总结、分类、聚类、关联分析,以及利用网站文档进行趋势预测等。网站文档中的标记,例如