HA MySql on RHCS 5

High Availability MySQL on RHCS 5.1 「研磨Red Hat Certified Architect–Cluster篇」」

【High Availability MySQL on RHCS 5.1】

就筆者所接觸的客戶，通常企業的資料庫伺服器都會採用備援機制。因為資料庫通常是企業內最重要的服務，一旦資料庫伺服器因硬體或其它原因停止服務，會造成莫大的損失。所以資料庫伺服大多會採用High Availability架構，當原來的資料庫伺服器無法提供服務時，備援的伺服器會馬上接管（take over）資料庫服務。此篇文章便是要介紹如何在RHCS 5.1上組態MySQL資料庫，架構High Availability MySQL Solution。

High Availability MySQL on RHCS 5.1 1 RHCS基本理論

在介紹如何建罝MySQL on RHCS之前，先概述RHCS的基本理論。凡事起頭難，如果一開始便陷入深奧的理論，讀者必然興趣缺缺。所以筆者一直在想如何用淺顯易懂的方式讓大家先對RHCS的專有名詞及架構有基本的瞭解。

圖1：RHCS Failover Domain示意圖

圖片來源：

https://www.wendangku.net/doc/681988015.html,/docs/manuals/enterprise/RHEL-5-manual/en-US/RHEL510/Cluster_Suite_Ove rview/s1-service-management-overview-CSO.html

High Availability MySQL on RHCS 5.1 Red Hat官方文件中有三張圖（圖1~圖3）可說是整個RHCS架構的精髓，圖1中有幾個重要名詞：

z Cluster Nodes

z Failover Domain

z Service

1.1 Cluster Nodes

Cluster Nodes就是Cluster的成員，就是一台台伺服器。以前筆者也提過：Cluster 是什麼？一般的定義，「所謂Cluster就是由一台以上的機器，為了某種特定需求所組成的架構」，根據不同的需求，可將Cluster分為以下三種，並對應Red Hat由何種軟體提供相關功能。

z High availability cluster

增加伺服器和以網路為基礎的應用程式的高可用性及備援性；由Cluster Suite中的Cluster Manager技術提供。

z Load Balancing cluster

將服務需求分派給多台伺服器，可視系統負載隨時彈性增加伺服器；由Cluster Suite中的Linux Virtual Server（Piranha）技術提供。

z High performance cluster（HPC）－提供同步運算及平行處理的能力；Cluster Suite不提供（另外有lam、pvm套件，規劃由WS擔綱)。 IBM Cluster 1350是業界非常有名的HPC解決方案。

此篇文章所介紹的Cluster是屬於「High availability cluster」，這裏有一點需要跟讀者特別強調的，一般的High availability cluster，通常用兩台機器組成High availability cluster（例如IBM HACMP解決方案），主要伺服器停止服務時，備援伺服器便會馬上接手主要伺服器的service。但Red Hat所提供「High availability cluster」解決方案，最好用三台以上的伺服器組成High availability cluster。如果只用兩台伺服器組成High availability cluster，則拔除傳遞heartbeat的網路線時，會發生split-brain（裂腦）的問題，Red Hat可利用quorum disk的技術來解決這

High Availability MySQL on RHCS 5.1 個問題，不過這個部份理論較複雜，此篇文章先不討論此種作法，後面實作的部份，筆者會用3個nodes來組成Cluster，其目的是為了避免split-brain（裂腦）問題。

1.2 Failover Domain

「Failover Domain」這個名詞比較難理解，先看看Red Hat官方文件的定義：

A failover domain is a subset of cluster nodes that are eligible to run a particular cluster service

簡單來說，「Failover Domain」就是Cluster的子集（subset），就是Cluster的部份。由圖1可以得知：

z Cluster Nodes為nodeA、nodeB、nodeC、nodeD及nodeE。

z nodeA和nodeB組成Failover Domain 1

z nodeB、nodeC及nodeD組成Failover Domain 2

z nodeC、nodeD及nodeE組成Failover Domain 3

這樣照字面解釋完後，我想讀者一定還有疑問，那為什麼要分「Failover Domain」？還記得筆者在「Single Point Of Failure」文章內所提過：

「"failover"機制指的是如果一台伺服器停機或故障, 另一台伺服器可以接手( takeover )故障伺服器所提供的服務。」

OK！我們再回頭看圖1，Failover Domain1後緊接著Service X、Failover Domain2後緊接著Service Y、Failover Domain1後緊接著Service Z。

所以Failover Domain的目的是指定Service X只能在Failover Domain1內移轉，也就是Service X可在nodeA和nodeB或上執行。同理Service Y在Failover Domain2內移轉，也就是Service Y可在nodeB、nodeC或nodeD或上執行。

High Availability MySQL on RHCS 5.1 再提醒大家一件事，這是「High availability cluster」，最主要是提供備援機制，Service同時間只能在某一個node上啟動，以Failover Domain1而言，ServiceX 只能在nodeA或nodeB上執行，假設一開始是在nodeA上執行，當nodeA掛掉時，ServiceX就會自動移轉至nodeB上。

1.3 Service

那什麼是Service？Service很容易讓大家誤以為就是/etc/init.d/httpd這類應用程式，在RHCS中的Service其實是一堆Resource的組合。各位想想，如果主要的WWW伺服器掛掉，另一台備援的伺服器要接管WWW服務，只需啟動

/etc/init.d/httpd嗎？不對吧！應該還要把原來Client所連接的IP（常稱service IP）移轉到備援伺服器，還有要把原來的網頁檔案系統（應該要在share disk）掛載起來，最後才是執行/etc/init.d/httpd start。經過以上講解，再看圖二，就會豁然開朗，圖中content service 是由IP resource（service ip）、Application resource（/etc/inti.d/httpd）及File system resource（網頁檔案系統）所組成。

High Availability MySQL on RHCS 5.1

圖2：Web Server Cluster Service Example

圖片來源：

https://www.wendangku.net/doc/681988015.html,/docs/manuals/enterprise/RHEL-5-manual/en-US/RHEL510/Cluster_Suite_Ove rview/s1-service-management-overview-CSO.html

1.4 Fencing Device

圖3中，有個奇怪的裝置「Fencing Device」，「Fencing Device」可能是大家最陌生的，因為其它Unix的HA Solution並不需要此裝置。先不要管Fence中文意義是什麼「柵欄、籬笆」，等一下筆者再解釋為什麼叫Fencing Device。RHCS 中提到的Fencing Device，是一種可以直接對伺服器做電源Power ON/Power OFF 的裝置，注意筆者說的是「電源」，不是去執行作業系統的開關機指令。RHCS 支援的Fencing Device很多，不過有些並不常見，例如有種電源延長線，你可以

High Availability MySQL on RHCS 5.1 用telnet指令，對某一個插座做Power ON/Power OFF的動作，那麼接在這個位置上的伺服器不管作業系統是否完全無反應（有時伺服器loading過重，會連ssh 也無法登入）都會重開機，這種電源延長線有時我們稱作NPS（Network Power Switch）。不過NPS，在台灣使用的人很少，就筆者所接觸的案子，客戶通常是採購本身有支援IPMI的伺服器，直接用伺服器IPMI的功能，或是額外購買IBM RSAII卡或是HP iLO卡。

說了那麼多，還是沒解釋為什麼要「Fencing Device」，別急，也看一下原廠文件的說明。

「Fencing is the disconnection of a node from the cluster's shared storage. Fencing cuts off I/O from shared storage, thus ensuring data integrity. 」

為什麼RHCS需要「Fencing Device」，最主要是避免一種情況發生，什麼情況呢？實務上，尤其是資料庫伺服器可能會遇到這種情況，就是伺服器loading過重，完全無反應，連heartbeat也無法傳遞，但此時伺服器可能不是真的掛掉，筆者開玩笑的說法是「假死」，經過一段時間，loading沒那麼重時，又會活過來，heartbeat又可以傳遞。但是RHCS的機制，只要發現主要伺服器的heartbeat 不通，讀者可以把heartbeat想成備援伺服器每隔時間就會ping主要伺服器（實際上RHCS並不是用ping的指令），就像是去聆聽心跳，如果沒有回應（Missed too many heartbeats），就判斷主要伺服器死了，那麼備援伺服器便會著手接管Service。但是萬一主要伺服器是假死，但Service中有包含File system resource ，那麼可能會造成兩台伺服器同時掛載File system，就會造成檔案系統資料不一致，嚴重的話可能會毀損整個檔案系統。

RHCS為了避免這種情況，想出了一個辦法，就是「Fencing Device」，當RHCS 發現主要伺服器的heartbeat不通（Missed too many heartbeats），第一件事不是著手接管Service，而是利用「Fencing Device」將主要伺服器重開機Power

ON/Power OFF，筆者常開玩笑說，這樣一來，假死就變成真死了，也不可能發生主要伺服器還掛載File system resource的情況。

現在，讀者應該可以體會為什麼要稱為「Fencing Device」，Fencing有隔離/圍起來的意思，就是當伺服器假死或是無法umount File system 時，就把它隔離起來

High Availability MySQL on RHCS 5.1 （power reboot）讓它無法存取File system resource （share storage）。

圖3：cluster config flowchart

圖片來源：

https://www.wendangku.net/doc/681988015.html,/docs/manuals/enterprise/RHEL-5-manual/en-US/RHEL510/Cluster_Administr ation/s2-config-cluster-CA.html

High Availability MySQL on RHCS 5.1 2 iSCSI規劃及建置

基於大家可能很難接觸Fiber Storage，筆者這篇文章利用iSCSI target server 提供share storage，並在VMware的環境下測試，所以讀者不需昂貴的設備就可練習High Availability MySQL on RHCS 5.1的建置。

表1：iSCSI環境規劃表

功能作業系統IP Address Share Disk

iSCSI target server (https://www.wendangku.net/doc/681988015.html,) RHEL 5.1 192.168.0.254

/dev/sdb1 (1GB)

/dev/sdb2 (2GB)

iSCSI initiator (https://www.wendangku.net/doc/681988015.html,) RHEL 5.1 192.168.0.101

/dev/sdb (1GB)

/dev/sdc (2GB)

iSCSI initiator (https://www.wendangku.net/doc/681988015.html,) RHEL 5.1 192.168.0.102

/dev/sdb (1GB)

/dev/sdc (2GB)

iSCSI initiator (https://www.wendangku.net/doc/681988015.html,) RHEL 5.1 192.168.0.103

/dev/sdb (1GB)

/dev/sdc (2GB)

讀者可參考上期【RHEL 5上的iSCSI環境】，並根據表一建置所需的Share Storage，設定完成後，不管在那一個node應該都可以Share Disk /dev/sdb及/dev/sdc，並用fdisk切割/dev/sdb, 然後再格式化，此塊空間未來是要用來存放MySQL的資料庫。

[root@node1 ~]# fdisk -l /dev/sdb

Disk /dev/sdb: 1028 MB, 1028127744 bytes

32 heads, 62 sectors/track, 1012 cylinders

Units = cylinders of 1984 * 512 = 1015808 bytes

High Availability MySQL on RHCS 5.1 Device Boot Start End Blocks Id System

/dev/sdb1 1 1012 1003873 83 Linux

[root@node1 ~]# mke2fs -j /dev/sdb1

mke2fs 1.39 (29-May-2006)

Filesystem label=

OS type: Linux

Block size=4096 (log=2)

Fragment size=4096 (log=2)

125696 inodes, 250968 blocks

12548 blocks (5.00%) reserved for the super user

First data block=0

Maximum filesystem blocks=260046848

8 block groups

32768 blocks per group, 32768 fragments per group

15712 inodes per group

Superblock backups stored on blocks:

32768, 98304, 163840, 229376

Writing inode tables: done

Creating journal (4096 blocks): done

Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 31 mounts or

180 days, whichever comes first. Use tune2fs -c or -i to override.

High Availability MySQL on RHCS 5.1

圖4：檢查node1上的iSCSI Share Storage

High Availability MySQL on RHCS 5.1

3 RHCS規劃及建置

接下來，筆者會根據表2來建置High Availability MySQL，其中有關Fencing

Device的設定，實務上，購買不同的Fencing Device，設定方法會有所不同。筆

者是在VMware環境上建置High Availability MySQL，所以fencing device選擇

Manual Fencing。

表2：RHCS架構規劃表

Cluster Name：eu_cluster

Cluster Nodes https://www.wendangku.net/doc/681988015.html, https://www.wendangku.net/doc/681988015.html, https://www.wendangku.net/doc/681988015.html,

Heartbeat/service

LAN (eth0)

192.168.0.101 192.168.0.102 192.168.0.102 Fencing Device Manual Manual Manual Failover Domain1 db_domain db_domain

Failover Domain2 www_domain

www_domain Service X：DB Failover Domain：db_domain

IP Resource Service IP：192.168.0.100

File system Resource Name：mysql_db

mount point：/var/lib/mysql

Device File：/dev/sdb1 （iSCSI Share Storage）

Application Resource Name：mysqld

Script：/etc/init.d/mysqld

3.1 安裝RHCS 5.1

RHEL 5.1巳內含Red Hat Cluster及GFS軟體，如果安裝是有輸入產品序號並選擇安裝全部套件，則會自動會安裝RedHat Cluster及GFS軟體。若是安裝是沒有輸入產品序號，則不會安裝Red Hat Cluster及GFS軟體。則必須架好YUM Server

High Availability MySQL on RHCS 5.1 後，再利用「system-config-packages」進行安裝，勾選「Clustering」及「Cluster Storage」套件組。

圖5：system-config-packages畫面

3.2 建立Cluster

這期文章筆者先利用「system-config-cluster」工具來建置Cluster，大致流程如下：先在node1設定Cluster，設定完成後，再將cluster.conf複製到其它的nodes。

啟動「system-config-cluster」後，會出現如圖6的畫面，選擇「Create New Configuration」只需填入cluster的名稱，其餘採用預設值即可。接著按下右下方「Add a Cluster Node」，加入https://www.wendangku.net/doc/681988015.html,～https://www.wendangku.net/doc/681988015.html,。「Quorum Votes:」不用填。

High Availability MySQL on RHCS 5.1

圖6：Create New Configuration

圖7：新增https://www.wendangku.net/doc/681988015.html,至https://www.wendangku.net/doc/681988015.html,

High Availability MySQL on RHCS 5.1 3.3 設定 Fence Devices

這個部份，讀者要特別留意，實務上得根據所採購的裝置，例如IBM的RSAII 卡，必須先設置RSAII的IP及登入的資訊。因為筆者是利用VMWare來建置，所以選擇「Manual Fencing」，參考圖8。

圖8：Add a Fence Device

新增Fence Device後，得回頭指定用這個新增的Fence Device來fencing這些nodes。步驟如下：先點選「https://www.wendangku.net/doc/681988015.html,」，然後按右下方的「Add a Fence Device」，便會出現Fence Configuration的設定視窗（圖9）。

High Availability MySQL on RHCS 5.1

圖9：Fence Configuration的設定視窗

出現「Fence Configuration」的設定視窗後，按下「Add a New Fence Level」按鈕後，再點選所新增出來的「Fence-Level-1」，接著按右下方的「Add a New Fence to this Level」，選擇剛剛新增出來的「Manual」Fence Device。

https://www.wendangku.net/doc/681988015.html,設定完畢後，https://www.wendangku.net/doc/681988015.html,及https://www.wendangku.net/doc/681988015.html,也依此步驟設定。

High Availability MySQL on RHCS 5.1

圖 10：Fence Properties視窗

3.4 設定Failover Domain

如圖11點選「Failover Domains」，按下「Create a Failover Domain」，指定Failover Domain名稱，例如db_domain，利用「Available Cluster Nodes」下拉選單加入成員https://www.wendangku.net/doc/681988015.html,及https://www.wendangku.net/doc/681988015.html,，記得勾選「Restrict Failover to This Domains Members」；同樣的，如果要新增www_domain，步驟也是一樣。

High Availability MySQL on RHCS 5.1

圖 11：Failover Domain Configuration

3.5 新增 Cluster Resources

根據表2新增3個Resources：IP Resource（圖12）、File system resource（圖13）、Application Resource（圖14）。新增resource的部份比較簡單，不過設定File system resource要特別留意，記得勾選「Force umount」及「Reboot host node if umount fails」。

High Availability MySQL on RHCS 5.1

圖 12：IP Resource畫面

圖 13：File System Resource

High Availability MySQL on RHCS 5.1

圖 14：Application Resource

3.6 新增 Cluster Service

前面有提過在RHCS中的Service其實是一堆Resource的組合，所以只要原理搞懂，設定就沒什麼問題。筆者用圖15解釋相關設定，首先指定service的名稱；接著看到「Autostart This Service」這個選項，「Autostart This Service」的用途是當RHCS啟動時會自動將該服務啟動。實務上，通常不勾選這個項目，待RHCS服務全部啟動成功後，再手動指定該Service要啟動在那一個node。

下拉Failover Domain選單，指定該服務只能在db_domain Failover Domain 內移轉。Recovery Policy指定「relocate」，「relocate」的作用是當DB service 有問題時不會嘗試restart該服務，會直接將DB service移轉至另一台node。

最後利用「Add a Shared Resource to this service」將這3個resource加到這個service。