IRRBBS系统日常运维

系统日常运维

一、查看系统跑批情况

1.可以登录网址：http://10.24

2.0.151:8080/etl vp

输入用户和密码，进入到界面，点击左边的流程监控—>批次监控,即可看到当前跑批情况

2.也可以登录plsql使用etladmin用户查看日志表查看当前跑批情况，下面是2012-03-08的跑批情况的sql语句：

select * from etl_proc_log t where data_date=date'2012-03-08';

不管通过方式1还是2都可以看到系统什么时候开始跑批，现在跑到哪里，跑了多久，每个程序花的时间，整个跑批所用的时间，每个程序运行过程有没有报错等信息；整个跑批所用的时间一般为1.5-2个小时。

二、查看表空间使用情况

查看表空间的使用情况，重点查看ETL_TS,REPORT_TS,ATOMIC_TS,CONFIG_TS表空间; ETL_TS表空间每天大约用7G，ETL_TS表空间的表根据cd_partition_tab配置表保留数据在数据库中; ATOMIC_TS,CONFIG_TS每天使用的表空间不多; REPORT_TS 每天使用的表空间估计在2.5G左右，数据保留一年，使用磁盘空间会很大;每天都关注表空间的剩余情况，如表空间不够则提前扩展表空间。

1.查看各个表空间使用情况

select a.tablespace_name,total,free,total-free used from

(select tablespace_name,sum(bytes)/1024/1024 total from

dba_data_files

group by tablespace_name) a,

( select tablespace_name,sum(bytes)/1024/1024 free from

dba_free_space

group by tablespace_name) b

where a.tablespace_name=b.tablespace_name;

2.扩展表空间

修改表空间数据文件的大小

alter database datafile '/u01/db/oradata/almftpdb/etl_ts5.dbf' resize 30G;

添加表空间的数据文件

alter tablespace ETL_TS add datafile

'/u01/db/oradata/almftpdb/etl_ts5.dbf' size 30G;

alter database datafile '/u01/db/oradata/zcfzdb/etl_ts5.dbf' autoextend on next 50M maxsize 30G;

三、查看磁盘空间

1.远程登录10.24

2.0.151到应用服务器端，执行命令：df -g，每天查看磁盘空间是否充足，主要以下几个磁盘

/dev/applv：ofsaa和biee的安装目录以及安装软件，日志文件的存放目录。

/dev/lv_oracle：做双机互备时，oracle客户端的安装目录，biee的备份文件也放在这个目录下。

/dev/fslv01：一些安装系统的备份文件以及ofs目录的备份。

1）ofsaa服务器运行期间产生的日志路径：

/u01/app/ofsapp/ofs/ficdb/log/FusionApps

如果日志过多，可以删除历史日志，保留当前日志

2）BIEE服务器运行期间产生的日志路径：

/u01/app/biee/fmw/OracleBI/server/Log

2.远程登录到10.242.0.150到数据库端，执行命令：df -g，每天查看磁盘空间是否充足，主要以下几个磁盘：

/dev/lv_oradata：oracle安装目录，存放从银行各个系统传输的数据包以及oracle的数据文件。

/dev/lv_oracle：存放oracle的日志文件。

/software：存放系统安装软件。

Oracle服务器生产日志存放路径：

/u01/db/oracle/diag/rdbms/zcfzdb/zcfzdb/trace

/u01/db/oracle/diag/tnslsnr/ZCFZDB/listener/alert

如果/u01/db/oracle所在的磁盘/dev/lv_oracle使用率达到95%以上，说明oracle产生了不少日志文件，产生的日志文件没有什么用处，可以把历史的日志删除掉，保留当前的日志即可！

四、总分核对

1、源总分核对

系统会对加载到数据库的源数据进行总分核对，以确保源数据的准确性。核对原则：分账户和总账的数据分别以科目，机构，币种对余额汇总进行比对，如果比对不平需关注并分析原因。因目前核心系统存、贷款业务总分校验自身一直存在差异，所以导致本系统总分也一直存在差异。维护人员可以查看报表（数据质量检查表-总分余额平衡检查表(ODW)），同时比对核心总分校验结果（需向核心系统维护人员索要），查找总分不平的原因。

底层数据查看可以通过表MID_CK_GIBAL进行查询。

2、目标总分核对

数据加工处理完后对分户账和总账的数据以科目，机构，币种对余额汇总进行比对,以便检验数据加工处理的正确性。维护人员可以查看报表（数据质量检查表-总分余额平衡检查表(ofs)）,同时比对报表（数据质量检查表-总分余额平衡检查表(ODW)）和核心总分校验结果，进一步查找总分不平原因。

底层数据查看可以通过表MID_CK_GIBAL1进行查询。

五、系统异常处理

系统已经运行了3个左右月，跑批比较稳定，报错率较低,常见的跑批问题；以下列举一些常见问题。

1、数据处理任务组某程序报错，错误“O RA-00054: 资源正忙, 但指定以 NOWAIT 方式获取资源，原因为数据库相关表已被锁定，用以下代码解决：

（1）select object_name as 对象名称,s.sid,s.serial#,p.spid as 系统进程号 from v$locked_object l , dba_objects o , v$session s , v$process p where l.object_id=o.object_id and l.session_id=s.sid and s.paddr=p.addr;

（2）alter system kill session 'sid,serial#';

2、数据库服务中断

排除人为操作，查看数据库表空间，如ETL_TS、REPORT_TS，ATOMIC_TS,如果表空间剩余很少或使用完，有可能使数据库服务中断；查看系统重要性能参数，看看系统是否允许良好，如 CPU，DISK， MEMORY，PAGING SPACE参数。

o racle数据库启动，关闭

?以oracle用户登录

?执行export ORACLE_SID=zcfzdb

?

?lsnrctl stop; exit

?执行sqlplus, 在sqlplus提示符下接着执行如下命令

sqlplus /nolog

Connect /as sysdba

shutdown immediate (停止数据库) (shutdown abort)

exit

?启动数据库：

sqlplus log

connect /as sysdba

startup

exit

?启监听：

lsnrctl start

Exit

3、如果临时表空间占用率为100%，导致跑批停止，不要盲目添加临时表空间，需要排查是哪个任务组导致临时表空间报错。

解决方法：首先想到的把这么大的临时表空间全部用光肯定是一个长时间的操作，于是到v$session_longops按照LAST_UPDATE_TIME倒序查找，发现了一个Sort Output 操作，看后根据视图中提供的sql_id到v$sql视图中查找，发现一个select语句把三个千万级别的表关联起来，并且使用full table hint，晕倒。然后根据v$session_longops中提供的SID和SERIAL#，直接到v$session视图中查找，马上在谁从哪台机器通过什么程序客户端链接上来，执行了什么操作等等。

4、字段长度变更，字段数据类型变更、源数据表增加字段。

字段长度变更：分析该字段是否在程序用用到，如果系统没有用到改字段，则直接对应的物理表和外表，即ODW和ECS表；如果该字段在后面的程序要用到，需要分析一下与该字段相关的字段长度需不需要变更，查询该字段相关的的字段需要查看相关的程序新增字段：如果本系统不需要用到该字段，则抽数时不抽取该字段，如果需要用该字段，则需修改ODW 和ECS表结构

5、数据质量问题

当跑批跑完PROC_CHK_SOURCEBAL和PROC_CHK_TARGETBAL后，要进行源表总分核对和目标表总分核对，参考第四部分。源表总分核对或目标总分核对有问题，修改完后需重跑批次。

六、OFSAA服务启动

1./u01/app/ofsapp/ofs/ficapp/common/FICServer/bin/reveleusstartup .sh

2./u01/app/ofsaa/apache-tomcat-6.0.26/bin/catalina.sh run

3./u01/app/ofsapp/ofs/ficapp/icc/bin/iccserver.sh

4./u01/app/ofsapp/ofs/ficdb/bin/agentstartup.sh

七、BIEE服务启动

1./u01/app/biee/biee/user_projects/domains/bifoundation_domain/bi n/startWebLogic.cmd

2./u01/app/biee/fmw/user_projects/domains/bifoundation_domain/bin /startManagedWebLogic.cmd bi_server1

3./u01/app/biee/fmw/instances/instance1/bin/opmnctl startall