HP日志收集工具和收集方法
HP日志收集工具和收集方法
一、收集两种日志的方法：
nickel日志和crashinfo日志
nickel是收集当前系统日志。但是HP重启系统后，前面的日志就消失了，所以通过crashinfo可以收集更多日志。
将附件中的文件用ftp的bin方式上传到服务器。
详细做法：
1.用tar命令解包:
#tar xvf nickel.20091202.tar
会产生一个nickel.sh脚本。
运行nickel.sh 脚本：
#sh nicke.sh
会在当前目录下产生一个nickel.sh.主机名.tar.gz文件 (注：如果系统外接的存储较多，此命令运行时间可能会需要一段时间。)
2.为了进一步诊断，需要您再收取一下crash信息：
1)tar xvf crashinfo.tar # 将附件中的文件用bin的方式上传到重启的那台服务器，然后解压
2)cd /var/adm/crash # 进入到文件的解压目录
3)./crashinfo.exe # 执行此命令，在当前的目录里生成crashinfo命令文件（注意：生成的文件没有了.exe后缀）
4)ll # 找到最新生成的crash目录是crash.0 还是crash.1 或是crash.2 ……？
5)./crashinfo crash.? > crash.?.txt # 用生成的crashinfo命令解析最新的crash.? 里面的信息，重定向到crash.?.txt 文件中
例如：./crashinfo crash.1 > crash.1.txt
./crashinfo -H crash.1 > crash.html
二、MP日志收集
MP login:
登录后，会出现MP>提示符。可以输入命令收集各种日志：
1.收集vfp
MP:>vfp
2.收集SEL
MP>sl -e -t3 -nc
3.收集FPL
MP>sl -f -t 3 -nc
然后，在MP>提示符下输入CM回车，进入MP:CM>提示符，然后进行下面操作：
4.收集硬件时间
MP:CM>date
5.收集sysrev
MP:CM>sysrev
6.收集ps
MP:CM>ps
7.收集df
MP:CM> df -all -nc
三、消除警报灯
在MP>提示符下，输入以下命令：
sl -e -nc
sl -f -nc
把所有日志浏览一遍之后，系统告警灯就不会再闪黄了。
一、MP常用命令
在输入Ctrl+B后，系统应该提示登陆，如下图所示：在其中输入用户名Admin和口令Admin，注意大小写完全匹配，然后登陆登陆进入系统后便进入到MP的管理界面
CO：在主菜单模式下输入co，可以使屏幕脱离MP管理状态进入到OS的Console界面，可以进入到操作系统之中，然后操作和在普通的终端上操作并无区别。
需要从OS的console界面退回到MP管理界面中，需要输入“Ctrl+B”。因此co和Ctrl+B是MP中最常用的两个命令，co是从MP切换到操作系统的console，而Ctrl+B是从操作系统console切换到MP的管理界面之中。
VFP：(Virtual Front Panel)可以显示当前系统的指示灯状态，显示系统的正常与否，如：
CM：cm是命令模式，输入cm后系统进入到cm模式中，该模式有很多命令可以对系统进行管理，其中最常用的为lc和pc，下面着重介绍这两个命令，其他命令可以使用输入help查看。
Lc (Lan config): 是设置MP上的网卡的IP地址，以便通过远程方式访问MP，在输入lc后系统应该显示，
输入A进行修改，按照命令的提示输入相应的IP，网关和主机名，最后保存即可，然后可以使用telnet访问该MP。
另一个最重要的命令为pc(Power Control)，使用该命令可以远程给系统上电和下电，输入后应该显示
可以输入on/off来控制系统的加电情况。
在主菜单中的其他命令，用法都比较简单，可以使用help查看即可。
一、HP-UX的安装
1、调整系统的输出设备
在缺省的情况下，系统会把启动信息输出到串口的Console上。如果希望把启动信息输出到外接的VGA 显示器上，需要把输出设备作相应调整。
在进入系统MP之后，给系统加电，使用co切换到console状态，等系统启动到选择启动项目时候，如图选择“Boot Option Maintenance Menu”进入，系统显示
选择“Select Active Console Output Devices”，然后系统显示
注意在前面有“*”号的为当前的活动输出，用上下箭头移动光标，“Enter”或者“Space”选中。去掉所有的星号，选择Acpi(HWP0002,700)/Pci(2|0) 该选择VGA输出。然后保存后退出。这样OS的启动信息会输出到VGA 上。
1、预装系统
对于有的系统，已经预装了操作系统，则系统会提示用户进行主机名、root口令以及IP的设置，请按照提示进行一步步操作。
2、重新安装操作系统
下面将按步骤进行操作系统安装
STEP 1: 把光盘插入到光驱中
STEP 2: 系统启动，当启动到选择启动项目时候，选择EFI Shell [Built in]
STEP 3:如果系统自动从光盘引导，开始安装过程，转到STEP 5。
STEP 4:如果没有自动引导，则屏幕应该显示输入exit退到上级输入map显示当前所有的磁盘，注意选择有CDROM的fs系统，在本图中为fs0。输入fs0:
输入install，进入安装过程。
STEP 5: 安装继续进行
STEP 6: 如果系统检测到键盘，则会出现键盘选择，请输入26，否则下一步
STEP 7: 进入到选择菜单，选择“Install HP-UX” STEP 8: 出现选择菜单，选择“Media Only Installation”和“Advanced Installation”，“OK”进入下一步 STEP 9：进入General配置界面在其中修改需要修改的项目，例如语言环境，则显示为 STEP 10：到System Tab中，输入主机名，IP等选项，并设置root password 和时区等内容 STEP 11：进入到File System Tab，修改相应得文件系统的大小，和增加新的文件系统STEP 12：在一切就绪后，Go!
STEP 13: 确认磁盘文件覆盖，然后进行安装
STEP 14：等待约60分钟
STEP 15：安装完毕，系统正确启动
系统下收集日志方法
收集日志操作如下： HPS 1、将附件HPSRPT_Enhanced_v9.0.00r2.zip 文件copy到目标服务器，存放在c:\ 2、解压到当前文件夹后双击运行HPSRPT_Enhanced_v9.0.00r2.cmd文件 3、不要关闭DOS运行窗口大约15分钟左右会自动消失说明运行完成。 4、完成后需要到C:\WINDOWS\HPSReports\Enhanced\Report\cab 目录下查看生成文件信息 5、收集对应时间点的cab文件即可。 第一个日志：ADU报告 2、打开开始——程序——HP System Tools——HP Array Configuration Utility——HP Array Configuration Utility。
3、选择Local Applcation Mode，本地应用模式。 4、打开了HP Array Configuration Utility工具后，点中间的Diagnostics选项卡，选中左侧的
阵列卡，右侧会出现2个按钮，查看和提取日志报告，我们选择Generate Diagnostic Report。 5、提示Reprot Generation Complete日志提取完毕，这时可以选择右下角Save report按钮。
6、选择保存，弹出保存菜单，点保存。 7、可以选择保存到桌面上。
第二个报告：survey报告 打开开始——程序——HP System Tools——HP Insight Diagnostics online Edition for Windows ——HP Insight Diagnostics online Edition for Windows。 9、提示安全证书报警，选择是，继续。
Message.log日志说明.
一、日志文件Message.log的说明 日志文件中输出的是实际的消息包的内容,以16进制的方式打印的 //下面的蓝色文字为说明文字 对Message.log文件中记录的信息的说明: 1.ICD表示是由客服系统传送过来的消息 ICD = 后面的字符串,如:ICD = 20002,则20002表示客服系统使用的命令字或者调用过程名 2.MID表示是由营帐系统传送过来的消息 MID = 后面的字符串,如:MID = 20002,则20002表示客服与营帐接口协议中使用的命令字(注: 此处的说法不是很正确,如果客服与营帐协议中不存在命令字定义时,此处使用的是一种定义关系,一般是将协议中的某项或者某几项的组合作为可以唯一标识该条报文的命令字处理 3./TRANS表示转换后的信息记录. 4./ERROR MESSAGE表示该信息有错误或者无法处理,错误详细情况分析请见协议接口调试手册中的说明 说明:此处将客服的命令字与客服与营帐接口的命令字区分出来,原因是: 1、客服系统使用命令字的概念, 2、客服与营帐接口中的一项协议可能对应客服系统的多项不同调用,而客服系统在处理时每项调用的命令字都应当是唯一的,为此保证客服系统命令字的唯一及确定协议的转换方式,需要存在一个对应关系
3、客服系统,如IVR的请求中的调用过程名是固定的,不可能直接使用协议中定义的命令字,为此需要和协议中命令字的对应关系 4、由于存在上述的一对多的情况存在,日志记录中的MID = 后面命令字不一定正确,因此要结合具体的数据中的消息察看 5、上述的命令字的对应关系在DtProxyDll.ini文件中设定,由下列项目确定 [COMMAND] ICDCDM = //客服系统使用的命令字 MIDCMD = //客服与营帐接口协议中使用的命令字 6、具体的命令字对应的转换工作由DtProxyDll.dll完成 (1将客服发送过来的消息按照客服与营帐系统之间的协议转换后的数据 [2000/11/06 13:48:48] ICD = 20002/TRANS IP=10.108.22.192ID=35 记录时间ICD业务站点的IP ICD业务站点的ID 00 00 00 4b a8 23 00 32 30 30 30 32 00 00 00 00 00 00 00 00 00 00 00 00 ...K.#.20002............ 00 00 00 00 58 00 00 00 00 00 00 00 00 3b 00 00 00 00 7e 00 00 00 00 00 ....X........;....~..... 00 00 00 00 00 00 00 00 00 31 33 39 32 33 37 31 32 38 31 30 7e 38 38 38 .........139********~888 38 3b 00 8;. (2客服发送过来的消息,消息格式分成两类:IVR类,AppSrv类 可根据DtProxy.ini中IVRID和AppSvrID的设定对应下面信息中的ID值确定是那种消息格式
虚拟机系统日志文件详解-Henry
虚拟机系统日志文件详解 Friday, October 08, 2010---Henry 除了事件和警报列表，vSphere 组件还会生成各种日志。这些日志包含有关vSphere 环境中活动的详细信息。 1、查看系统日志条目 可以查看vSphere 组件生成的系统日志。 访问和查看系统日志的步骤： 1 在连接vCenter Server 系统或ESX/ESXi 主机的vSphere Client 的主页中，单击系统日志。 2 在下拉菜单中，选择要查看的日志和条目。 3 选择查看> 筛选以引用筛选选项。 4 在数据字段中输入文本。 5 单击清除以清空该数据字段。 2、外部系统日志 VMware 技术支持可能会请求多个文件以帮助解决您使用产品时遇到的任何问题。本节介绍在各种ESX 4.0 组件系统上找到的日志文件的类型和位置。 ---------------------------------------------------------------------------------------------------------------------- 注意：在Windows 系统中，多个日志文件存储在位于C:\Documents and Settings\
日志管理与分析-日志收集及来源
日志管理与分析-日志收集及来源 【前言】 对广大IT工作者，尤其是运维和安全人员来说，“日志”是一个再熟悉不过的名词。日志从哪来？机房中的各种软件（系统、防火墙）和硬件（交换机、路由器等），都在不断地生成日志。IT安全业界的无数实践告诉我们，健全的日志记录和分析系统，是系统正常运营、优化以及安全事故响应的基础，虽然安全系统厂商为我们提供了五花八门的解决方案，但基石仍是具有充足性、可用性、安全性的日志记录系统。实际工作中，许多单位内部对日志并没有充分的认识，安全建设更多在于投入 设备，比如防火墙、IDS、IPS、防病毒软件等，被动地希望这些系统帮助我们完成一切工作，但是俗话说的好：“魔高一尺道高一丈”，以特征码和预定义规则为基础的上述设备，在防护方面永远落在攻击者后面，防微杜渐才是真正的出路。作为一名合格的安全人员，了解日志的概念，了解日志的配置和分析方法，是发现威胁、抵御攻击的重要技能，有了这方面的深刻认识，各种自动化安全解决方案才能真正地发挥效能。 1、日志数据 简单地说，日志消息就是计算机系统、设备、软件等在某种触发下反应生成的东西。确切的触发在很大程度上取决于日志消息的来源。例如，UNix操作系统会记录用户登录和注销的消息，防火墙将记录ACL 通过和拒绝的消息，磁盘存储系统在故障发生或者在某些系统认为将会发生故障的情况下会生成日志消息。 日志数据就是一条日志消息里用来告诉你为什么生成消息的信息，例如，web服务器一般会在有人访问web页面请求资源（图片、
文件等等）的时候记录日志。如果用户访问的页面需要通过认证，日 志消息将会包含用户名。日志消息可以分成下面的几种通用类型： ?信息：这种类型的消息被设计成告诉用户和管理员一些没有风险的事情发生了。例如，Cisco IOS将在系统重启的时候生成消息。不过，需要注意的是，如果重启发生在非正常维护时间或是业务时间，就有发出报警的理由。 ?调试：软件系统在应用程序代码运行时发生调试信息，是为了给软件开发人员提供故障检测和定位问题的帮助。 ?警告：警告消息是在系统需要或者丢失东西，而又不影响操作系统的情况下发生的。 ?错误：错误日志消息是用来传达在计算机系统中出现的各种级别的错误。例如，操作系统在无法同步缓冲区到磁盘的时候会生成错误信息。?警报：警报表明发生了一些有趣的事，一般情况下，警报是属于安全设备和安全相关系统的，但并不是硬性规定。在计算机网络中可能会运行一个入侵防御系统IPS，检查所有入站的流量。它将根据数据包的内容判断是否允许其进行网络连接。如果IPS检测到一个恶意连接，可能会采取任何预先配置的处置。IPS会记录下检测结果以及所采取的行动。 2、日志数据的传输与收集 计算机或者其他设备都实现了日志记录子系统，能够在确定有必 要的时候生成日志消息，具体的确定方式取决于设备。另外，必须有 一个用来接收和收集日志消息的地方，这个地方一般被称为日志主 机。日志主机是一个计算机系统，一般来说可能是linux和windows服
中国移动上网日志留存系统GbIuPS采集解析设备规范
中国移动通信企业标准 QB-W-025-2011 中国移动上网日志留存系统规 范G b/I u P S采集解析设备规范 E q u i p m e n t S p e c i f i c a t i o n o f C h i n a M o b i l e N e t l o g S y s t e m （S i g n a l C o l l e c t i o n G b/I u P S P a r t） 版本号：1.0.0 2013-6-25发布2013-6-27实施中国移动通信集团公司发布
目录 前言 .................................................................... III 1 范围 (1) 2 规范性引用文件 (1) 3 术语、定义和缩略语 (1) 4 设备在系统中的位置 (2) 5 功能要求 (3) 5.1 Gb/IuPS采集位置要求 (4) 5.2 数据旁路功能要求 (6) 5.3 数据接入功能要求 (7) 5.4 协议解码功能要求 (7) 5.5 DPI功能要求（可选） (8) 5.6 数据存储功能要求 (9) 5.7 数据输出功能要求 (10) 5.8 上报告警功能要求 (10) 6 性能指标和可靠性要求 (11) 6.1 性能要求 (11) 6.2 软件要求 (11) 6.3 硬件要求 (12) 6.4 可扩展要求 (12) 6.5 部署要求 (12) 6.6 可靠性 (13) 7 接口要求 (13) 7.1 千兆以太网接口 (13) 7.1.1 1000BaseT接口 (14) 7.1.2 1000Base-SX接口 (14) 7.1.3 1000Base-LX接口 (14) 7.2 10G以太网接口 (14) 7.2.1 10GBase-S接口 (14) 7.2.2 10GBase-L接口 (14) 7.2.3 10GBase-E接口 (14) 8 时间同步要求 (15) 9 网管要求 (15) 9.1 配置管理 (15) 9.2 查询设备信息 (17) 9.2.1 设备硬件信息 (17) 9.2.2 设备网络信息 (17) 9.3 查询设备状态 (18) 9.3.1 设备负荷 (18) 9.4 设备状态管理 (19) 9.4.1 故障管理 (19) 9.5 性能管理 (20) 9.6 安全管理 (20)
Log4记录日志使用说明
一、 想要让Log4net日志(以下称日志)按每月自动归类为一个文件夹，为此，学习和修改了log4net.config文件。查了资料，重点是以下这些参数: 众说纷纭，许多说得让人看后似懂非懂，经过说起来都是泪的实验，终于有了明确的结论，整理发表出来避免后人走弯路。 1.StaticLogFileName的值如果为true，则当前日志文件(相对于历史日志文件而言)的文件名只取File参数。如果为false，则文件名取File+DatePattern。 2.File的值是静态的如果写“yyyy-MM”就是“yyyy-MM”而不会转成当前的年份和月份，而且斜扛“/”与反斜扛“\”效果相同，连续2扛也与1扛相同。 3.DatePattern的值是动态的“yyyy”代表4位年份，详细参考网上的众多资料(这个不难得到)。如果想表达静态的字符(如“y”)有2种办法，1是使用转义字符“\”，即“\y”，2是使用一对单引号限定，即“'y'”。如上面的value="_yyyy-MM-dd.'config'"，就是因为fig有特殊含义，所以把“config”用单引号包含起来了。 4.修改了(网站上的)log4net.config文件，使它生效的方法是重启网站(我没有试着去操作应用程序池)。实测重启网站有约10%没有使它生效，但如果是先停止网站再启动，则100%生效。 以上4点最关键是第1点，也是众多资料所没有说清楚的(本人的汉字理解能力有问题？)。最终符合我要求的配置如下: 以上是基于我自己做的实验而得出的结论，难免不够系统和全面，限于本人水平，难免有错误。如有发现错漏，欢迎指正。 二、 log4net配置文件设置 2011-11-16 13:15:41| 分类：Notes|举报|字号订阅
入侵Linux系统后日志文件及入侵后日志如何清除
Linux系统的LOG日志文件及入侵后日志的清除 UNIX网管员主要是靠系统的LOG,来获得入侵的痕迹.当然也有第三方工具记录入侵系统 的痕迹,UNIX系统存放LOG文件,普通位置如下: /usr/adm - 早期版本的UNIX /var/adm - 新一点的版本使用这个位置 /var/log - 一些版本的Solaris,linux BSD,Free BSD使用这个位置 /etc - 多数UNIX版本把utmp放在这里，有些也把wtmp放在这里，syslog.conf在这里 下面的一些文件根据你所在的目录不同而不同： acct 或pacct -- 记录每个用户使用的命令记录 access_log -- 主要当服务器运行NCSA HTTPD时, 记录什么站点连接过你的服务器aculog -- 保存着你拨出去的MODEMS记录 lastlog -- 记录了用户最近的LOGIN记录和每个用户的最初目的地，有时是最后不 成功LOGIN的记录,当一个用户登陆到unix系统，注册程序在lastlog文件中查找该用户的uid，如果该程序找到了 该用户的uid，unix就会显示最后一次登陆的时间和tty（终端号） loginlog -- 记录一些不正常的LOGIN记录 messages -- 记录输出到系统控制台的记录，另外的信息由syslog来生成 security -- 记录一些使用UUCP系统企图进入限制范围的事例 sulog -- 记录使用su命令的记录．它通常在/var/adm/sulog．如果你在机器上使用了su命令，别忘了清除哦． utmp -- 记录当前登录到系统中的所有用户，这个文件伴随着用户进入和离开系统而不断变化.它还会为系统中的用户保持很长的历史记录，utmp日志通常存放在/var/adm/utmp目录下．可以用w和who命令查看，其他命令也可以访问这个文件．如：finger root就可以．现在的utmp一般都有utmpx文件作为日志记录的补充． utmpx -- UTMP的扩展 wtmp -- 记录用户登录和退出事件．它和utmp日志文件相似，但它随着登陆次数的增加，它会变的越来越大，有些系统的ftp访问也在这个文件里记录，同时它也记录正常的系统退出时间,可以用ac和last命令访问． syslog -- 最重要的日志文件，使用syslogd守护程序来获得日志信息，通常情况下通过查看/etc/syslog.conf．我们可以知道syslog记录些什么．缺省时，它把大多的消息传给 /var/adm/message． /dev/log -- 一个UNIX域套接字，接受在本地机器上运行的进程所产生的消息
基于Flume的美团日志收集系统
基于Flume的美团日志收集系统(一)架构和设计
Agent 丰 富程度提供丰富的Agent，包括avro/thrift socket, text, tail等 主要是thrift端口 Store丰富程度可以直接写hdfs, text, console, tcp；写 hdfs时支持对text和sequence的压 缩； 提供buffer, network, file(hdfs, text)等 代码结构系统框架好，模块分明，易于开发代码简单 3 美团日志收集系统架构 美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。目前每天收集和处理约T级别的日志数据。 下图是美团的日志收集系统的整体框架图。 a. 整个系统分为三层：Agent层，Collector层和Store层。其中Agent层每个机器部署一个进程，负责对单机的日志收集工作；Collector层部署在中心服务器上，负责接收Agent 层发送的日志，并且将日志根据路由规则写到相应的Store层中；Store层负责提供永久或者临时的日志存储服务，或者将日志流导向其它服务器。 b. Agent到Collector使用LoadBalance策略，将所有的日志均衡地发到所有的Collector上，达到负载均衡的目标，同时并处理单个Collector失效的问题。 c. Collector层的目标主要有三个：SinkHdfs, SinkKafka和SinkBypass。分别提供离线的数据到Hdfs，和提供实时的日志流到Kafka和Bypass。其中SinkHdfs又根据日志量的大小分为SinkHdfs_b，SinkHdfs_m和SinkHdfs_s三个Sink，以提高写入到Hdfs的性能，具体见后面介绍。 d. 对于Store来说，Hdfs负责永久地存储所有日志；Kafka存储最新的7天日志，并给Storm 系统提供实时日志流；Bypass负责给其它服务器和应用提供实时日志流。
教你如何查看网站日志
教你如何查看网站日志 笔者有加了几个SEO的群，经常在群里看到很多新手SEO朋友问怎么查看网站日志，这里笔者就做一个系统的总结分享给新手SEO朋友们，希望有用，如果你是老鸟觉得不屑一顾你可以忽视本文。就拿笔者最近优化的展览器材行业网站来做个案例分析吧。我做的企业网站关键词是易拉宝。笔者每天会通过提取服务器的日志来查看蜘蛛抓取情况，看看有哪些蜘蛛今天来爬了，爬了多少次，具体爬到哪个页面蜘蛛爬不下去就走了等等。然后分析做出合理优化。 1.首先你等下一个日志分析工具：笔者用的光年日志分析。百度光年日志分析工具就可以下载了，这里不提供下载页面。下载完后安装解压，如图所示 2.如果你的FTP里面没有LOG文件夹的话那么就得登入你的空间服务器提取log日志。系统默认的日志文件路径是：C:WINDOWSsystem32LogFiles ， W3SVC就是你要提取的文件，这个文件里面有你网站每天的日志文件.这里需要补充一点的就是如果你服务器里面有多个网站的话，那么你得先弄清楚哪个文件夹是你需要的日志文件夹。按如下步骤操作：打开空间管理器——找到你网站——右键——属性——网站--属性P——浏览下面就能看到文件夹名称(详见如图红色部位)
3.提取出的文件放到你的D盘网站跟目录下然后通过FTP传送到本地电脑。 4.打开光年日志工具GnAnalyzer.exe——新建分析任务(找到你刚下载的日志文件)——选择分析文件存放路劲——确定。分析结束后找到你存放结果的文件夹找到HTM结果的文件就能看到日志分析结果了。
如上图所示就能查看到蜘蛛来我网站的情况了，由于笔者现在优化的展览器材行业网站是一个新站，特别是易拉宝这个关键词也比较热，所以现在蜘蛛来拍的次数和抓取量比较可怜。如上图所示左边就可以查看到各大搜索引擎的蜘蛛到底爬了你网站的哪个页面，到了哪个页面走不下去了。 以上由杭州邦美展览器材易拉宝网/编辑，希望对新手朋友们有用，内容如有变差望见谅。 文章来源于：https://www.wendangku.net/doc/463981441.html,/article-24577-1.html
基于Flume的美团日志收集系统方案
Agent丰富程度提供丰富的Agent，包括avro/thrift socket, text, tail等 主要是thrift端口 Store丰富程度可以直接写hdfs, text, console, tcp； 写hdfs时支持对text和sequence的压 缩； 提供buffer, network, file(hdfs, text)等 代码结构系统框架好，模块分明，易于开发代码简单 3 美团日志收集系统架构 美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。目前每天收集和处理约T级别的日志数据。 下图是美团的日志收集系统的整体框架图。 a. 整个系统分为三层：Agent层，Collector层和Store层。其中Agent层每个机器部署一个进程，负责对单机的日志收集工作；Collector层部署在中心服务器上，负责接收Agent 层发送的日志，并且将日志根据路由规则写到相应的Store层中；Store层负责提供永久或者临时的日志存储服务，或者将日志流导向其它服务器。 b. Agent到Collector使用LoadBalance策略，将所有的日志均衡地发到所有的Collector 上，达到负载均衡的目标，同时并处理单个Collector失效的问题。 c. Collector层的目标主要有三个：SinkHdfs, SinkKafka和SinkBypass。分别提供离线的数据到Hdfs，和提供实时的日志流到Kafka和Bypass。其中SinkHdfs又根据日志量的大小分为SinkHdfs_b，SinkHdfs_m和SinkHdfs_s三个Sink，以提高写入到Hdfs的性能，具体见后面介绍。 d. 对于Store来说，Hdfs负责永久地存储所有日志；Kafka存储最新的7天日志，并给Storm 系统提供实时日志流；Bypass负责给其它服务器和应用提供实时日志流。
收集日志的方法
收集日志的方法（V5.5及以下版本） 刘奇liuqi@https://www.wendangku.net/doc/463981441.html,2010-9-14 说明：本文档非本人编写，为深圳同事总结。 举例说明，怎样把程序出错时，或者程序运行慢的前台界面现象截图，前台详细日志，后台详细日志收集和提交。 1. 某客户查询凭证时，前台报错。 2.下面介绍怎样把日志收集完整给开发, 在打开这个出错节点之前，我们先打开前台日志，在程序的右上角上一个日志按钮, 并把log level设置为debug, 按clear 按钮清除之前的日志，让收集的日志更为准确 3.在服务器端运行wassysconfig.bat—log- 日志配置http://localhost:88 –读取（中间件必须在启动状态）,下图中88为nc的web访问端口，如果是80端口访问nc,请在此输入80. 把anonymous和nclog 级别设置为debug,滚动策略中最大字节设置为10m,最大文件数设置为20,并按保存。如下图，这个时候，所在访问nc服务器的88端口的操作，将会有debug输出到指定目录的指定文件。（ncv5产品是可以动态打开和关闭日志，不需要重新启动中间件才生效）
4．在服务器端打开日志目录D:\ufida\ufsoft\nclogs\server1，按日期排序日志文件，记下nc-log 和anony-log当前正在输出的文件（可能有很多nc-log和anony-log文件，要记住正在输出的最新的日志文件），如下图nc-log[0].log和anony-log[0].log是正在输入的日志文件 1.准备工作都完成了，我们需要把问题重现一次。以便生成日志并提交给开发。如下图， 我们操作凭证查询，界面报错，我们可以使用键盘上的prtscreen键直接截图到word文件，把前台直接看到的错误保存下来。 2.问题重现后，我们立即去把后台日志的级别设置为error,并保存。防止其他用户操作nc 产生大量的日志输出，不便查找我们所要的信息，如下图
网站日志文件-网站log文件详解
IIS Log参数详解： date(日期) 2007-11-17 time(时间) 16:02:09 cs-method(方法) GET cs-uri-stem(URI资源) /b2b_cplist.asp //代表访问的资源是当前这个文件 cs-uri-query(URI查询) catid=30 // 具体的访问参数 （cs-uri-stem+ cs-uri-query=实际访问的文件：/b2b_cplist.asp? catid=30） s-port(服务器端口) 80 c-ip(客户端IP) 211.155.23.176（实际是网站所在服务器的IP） cs(User-Agent) Baiduspider+(+https://www.wendangku.net/doc/463981441.html,/search/spider.htm) //百度在收录你呢J cs(Referer) (引用站点) https://www.wendangku.net/doc/463981441.html, 搜索的站点 sc-status(协议状态) 200 //200表示OK sc-substatus(协议子状态) 0 sc-win32-status(Win32状态) 0 sc-bytes(发送的字节数) 1329 //表示当前文件的大小 日期date 时间time 客户IP地址c-ip 用户名cs-username 方法cs-method URI资源cs-uri-stem 协议状态sc-status 发送字节数sc-bytes 协议版本cs-version 用户代理cs(User-Agent) 参照cs(Referer) HTTP协议状态码的含义,协议状态sc-status，是服务器日记扩展属性的一项。下面是各状态码含义列表: "100" : Continue 客户必须继续发出请求 "101" : witching Protocols 客户要求服务器根据请求转换HTTP协议版本200交易成功 "200" : OK 交易成功 "201" : Created 提示知道新文件的URL "202" : Accepted 接受和处理、但处理未完成 "203" : Non-Authoritative Information 返回信息不确定或不完整 "204" : No Content 请求收到，但返回信息为空 "205" : Reset Content 服务器完成了请求，用户代理必须复位当前已经浏览过的文件 "206" : Partial Content 服务器已经完成了部分用户的GET请求"300" : Multiple Choices 请求的资源可在多处得到 "301" : Moved Permanently 删除请求数据
Linux 系统日志收集分析系统
Linux 系统日志收集分析系统 一、搭建环境 系统：centos6.5 软件：lamp、rsyslog、rsyslog-mysql 、loganalyzer rsyslog用来收集远程服务器系统日志信息 rsyslog-mysql是rsyslog连接数据库的模块 loganalyzer用来分析系统日志 二、软件安装 a、httpd安装 tar -jxvf apr-1.5.1.tar.bz2 ./configure --prefix=/usr/local/apr make && make install tar -zxvf apr-util-1.5.4.tar.gz ./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr/ make && make install tar -zxvf httpd-2.4.12.tar.gz yum install -y pcre-devel zlib-devel openssl-devel ./configure --prefix=/data/program/apache2 --enable-so --enable-rewrite --enable-ssl --enable-cgi --enab le-cgid --enable-modules=most --enable-mods-shared=most --enable- mpms-share=all --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util --enable-deflate make -j 6 && make install ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 修改httpd配置文件，添加如下两行 AddType application/x-httpd-php .php AddType application/x-httpd-php-source .phps 定位至DirectoryIndex index.htm DirectoryIndex index.php index.html 注释掉主服务的站点目录 #DocumentRoot "/data/program/apache2/htdocs" 开启虚拟主机需要加载 Include conf/extra/httpd-vhosts.conf LoadModule log_config_module modules/mod_log_config.so 添加虚拟主机
HP日志收集工具和收集方法
HP日志收集工具和收集方法 一、收集两种日志的方法： nickel日志和crashinfo日志 nickel是收集当前系统日志。但是HP重启系统后，前面的日志就消失了，所以通过crashinfo可以收集更多日志。 将附件中的文件用ftp的bin方式上传到服务器。 详细做法： 1.用tar命令解包: #tar xvf nickel.20091202.tar 会产生一个nickel.sh脚本。 运行nickel.sh 脚本： #sh nicke.sh 会在当前目录下产生一个nickel.sh.主机名.tar.gz文件 (注：如果系统外接的存储较多，此命令运行时间可能会需要一段时间。) 2.为了进一步诊断，需要您再收取一下crash信息： 1)tar xvf crashinfo.tar # 将附件中的文件用bin的方式上传到重启的那台服务器，然后解压 2)cd /var/adm/crash # 进入到文件的解压目录 3)./crashinfo.exe # 执行此命令，在当前的目录里生成crashinfo命令文件（注意：生成的文件没有了.exe后缀）
4)ll # 找到最新生成的crash目录是crash.0 还是crash.1 或是crash.2 ……？ 5)./crashinfo crash.? > crash.?.txt # 用生成的crashinfo命令解析最新的crash.? 里面的信息，重定向到crash.?.txt 文件中 例如：./crashinfo crash.1 > crash.1.txt ./crashinfo -H crash.1 > crash.html 二、MP日志收集 MP login: 登录后，会出现MP>提示符。可以输入命令收集各种日志： 1.收集vfp MP:>vfp 2.收集SEL MP>sl -e -t3 -nc 3.收集FPL MP>sl -f -t 3 -nc 然后，在MP>提示符下输入CM回车，进入MP:CM>提示符，然后进行下面操作： 4.收集硬件时间 MP:CM>date
查归档日志文件每小时生成量
在O racle数据库中，通过v$archived_log数据字典视图查询该数据库的归档日志文件的生成情况。如果你以为在rac下需要查的gv$archvied_log视图，这其实是一个错误的想法。无论在单实例数据库，还是多实例的RAC数据库，都是查这个视图来获取信息。 查当天每小时的归档日志生成量 select logtime, count(*), round(sum(blocks * block_size) / 1024 / 1024) mbsize from (select trunc(first_time, 'hh') as logtime, a.BLOCKS, a.BLOCK_SIZE from v$archived_log a where a.DEST_ID = 1 and a.FIRST_TIME > trunc(sysdate)) group by logtime order by logtime desc; 查最近一周每天的归档日志生成量 select logtime, count(*), round(sum(blocks * block_size) / 1024 / 1024) mbsize from (select trunc(first_time, 'dd') as logtime, a.BLOCKS, a.BLOCK_SIZE from v$archived_log a where a.DEST_ID = 1 and a.FIRST_TIME > trunc(sysdate - 7))
group by logtime order by logtime desc; 如果你需要知道RAC下各个节点的归档日志情况，我将上面脚本略作修改，增加thread#列。 查当天每小时的各个实例的归档日志生成量 select THREAD#, logtime, count(*), round(sum(blocks * block_size) / 1024 / 1024) mbsize from (select a.THREAD#, trunc(first_time, 'hh') as logtime, a.BLOCKS, a.BLOCK_SIZE from v$archived_log a where a.DEST_ID = 1 and a.FIRST_TIME > trunc(sysdate)) group by THREAD#, logtime order by THREAD#, logtime desc; 查最近一周每天的各个实例的归档日志生成量
日志审计管理系统需求说明书
日志审计管理系统需求说明书 一、总体要求 ?支持对主流操作系统、数据库系统、应用软件系统、网络设备、安全设 备进行自动采集。 ?支持SYSLOG和OPSEC LEA标准日志协议，能通过代理收集日志文件， 并将日志统一格式化处理。 ?对采集的日志可分类实时监控和自动告警。 ?对收集的日志信息可按日志所有属性进行组合查询和提供报表。 ?能按日志来源、类型、日期进行存储，支持日志加密压缩归档。 ?不影响日志源对象运行性能和安全。 ?操作简便直观，可用性好。 二、具体要求 2.1日志收集对象要求
用户可根据自己的需求很容易定制开发新的日志收集代理。 2.2 日志收集方式要求 需要支持的协议有syslog、snmp trap、windows log、checkpoint opsec、database、file、xml、soap等等。 ?主动信息采集 对路由器、交换机、防火墙、VPN、IDS/IPS等网络设备的日志采集支持采用SYSLOG（UDP514）和OPSEC LEA协议形式自动采集。 ?日志文件采集 支持本地系统平台上通过安装Agent采集日志文件中的日志信息。 ?性能状态探测 能获取系统平台的CPU、内存、端口使用率、应用的响应时间、进程数、TCP连接数、负载等性能参数。 2.3日志分析功能要求 2.3.1告警功能 ?支持对紧急、严重日志进行自动报警，可自定义需报警的日志类型。 ?监控台支持对收集的全部日志进行分类实时监控。 ?应该能够将各种不同的日志格式表示为统一的日志数据格式。且统一格 式时不能造成字段丢失。 ?能自动对各种类型的日志进行实时分析，并能将紧急、严重的事件日志 通过设备远程主控台、短信、邮件、电话语音提示等方式向管理员发送 实时告警消息，支持自定义报警日志的类型。 ?通过对网络设备及系统平台的性能状态、安全访问、异常事件产生的日
项目7 Flume日志采集系统-任务7.2 Flume采集方案说明与可靠性保证
B I T C 项目7 Flume日志采集系统任务7.2 Flume采集方案说明与可靠性保证 主讲教师：马东波
学习目标
章节概要 在大数据系统的开发中，数据收集工作无疑是开发者首要解决的一个难题，但由于生产数据的源头丰富多样，其中包含网站日志数据、后台监控数据、用户浏览网页数据等，数据工程师要想将它们分门别类的采集到HDFS系统中，就可以使用Apache Flume（数据采集）系统。 本章将针对Flume系统的基本概念、安装及应用方式详细讲 解，让读者掌握Flume系统的原理与应用。
C O N T E N T S Flume采集方案说明PART 01 Flume的可靠性保证 PART 02
Flume Sources 在编写Flume采集方案时，首先必须明确采集的数据源类型、出处；接着，根据这些信息与Flume已提供支持的Flume Sources进行匹配，选择对应的数据采集器类型 （即sources.type）；再根据选择的数据采集器类型，配置必要和非必要的数据采集器 属性，Flume提供并支持的Flume Sources种类如下所示。 Avro Source Thrift Source Exec Source JMS Source Spooling Directory Source Twitter 1% firehose Source Kafka Source NetCat TCP Source NetCat UDP Source Sequence Generator Syslog TCP Source Multiport Syslog TCP Source Source Syslog UDP Source HTTP Source Stress Source Avro Legacy Source Thrift Legacy Source Custom Source Scribe Source Taildir Source
- 基于Filebeat自动收集Kubernetes日志的分析系统
- 如何收集服务器各类日志
- 收集日志的方法
- HP服务器-windows系统下收集硬件日志方法(Survey IML ADU)
- 日志管理与分析-日志收集及来源
- Linux 系统日志收集分析系统
- 日志采集与分析系统
- 日志采集方式 SNMP TRAP 和 Syslog 的区别
- 系统下收集日志方法
- HP日志收集工具和收集方法
- 日志收集方案
- windows server2008系统下HP服务器收集硬件日志方法(Survey IML ADU)
- 信息系统日志管理办法最终版.doc
- 【最新整理】大数据采集的技术方法.ppt
- 中国移动上网日志留存系统GbIuPS采集解析设备规范
- 系统下收集HP服务器日志