高性能Mysql主从架构的复制原理及配置详解-lunique

高性能Mysql主从架构的复制原理及配置详

解

温习《高性能MySQL》的复制篇.

1.复制概述

Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。

请注意当你进行复制时，所有对复制中的表的更新必须在主服务器上进行。否则，你必须要小心，以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。

1.1.mysql支持的复制类型：

（１）：基于语句的复制：在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。

一旦发现没法精确复制时，会自动选着基于行的复制。

（２）：基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍.从mysql5.0开始支持

（３）：混合类型的复制:默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。

1.2.复制解决的问题

MySQL复制技术有以下一些特点：

(1)数据分布(Datadistribution)

(2)负载平衡(loadbalancing)

(3)备份(Backups)

(4)高可用性和容错行Highavailabilityandfailover

1.3.复制如何工作

整体上来说，复制有3个步骤：

(1)master将改变记录到二进制日志(binarylog)中（这些记录叫做二进制日志事件，binarylogevents）；

(2)slave将master的binarylogevents拷贝到它的中继日志(relaylog)；

(3)slave重做中继日志中的事件，将改变反映它自己的数据。

下图描述了复制的过程：

该过程的第一部分就是master记录二进制日志。在每个事务更新数据完成之前，master在二日志记录这些改变。MySQL将事务串行的写入二进制日志，即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后，master通知存储引擎提交事务。

下一步就是slave将master的binarylog拷贝到它自己的中继日志。首先，slave开始一个工作线程——I/O线程。I/O线程在master上打开一个普通的连接，然后开始binlogdumpprocess。Binlogdumpprocess从master的二进制日志中读取事件，如果已经跟上master，它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日志。SQLslavethread（SQL从线程）处理该过程的最后一步。SQL线程从中继日志读取事件，并重放其中的事件而更新slave的数据，使其与master中的数据一致。只要该线程与I/O线程保持一致，中继日志通常会位于OS的缓存中，所以中继日志的开销很小。

此外，在master中也有一个工作线程：和其它MySQL的连接一样，slave在master中打开一个连接也会使得master开始一个线程。复制过程有一个很重要的限制——复制在slave 上是串行化的，也就是说master上的并行更新操作不能在slave上并行操作。

2.复制配置

有两台MySQL数据库服务器Master和slave，Master为主服务器，slave为从服务器，初始状态时，Master和slave中的数据信息相同，当Master中的数据发生变化时，slave也跟着发生相应的变化，使得master和slave的数据信息同步，达到备份的目的。

要点：

负责在主、从服务器传输各种修改动作的媒介是主服务器的二进制变更日志，这个日志记载着需要传输给从服务器的各种修改动作。因此，主服务器必须激活二进制日志功能。从服务器必须具备足以让它连接主服务器并请求主服务器把二进制变更日志传输给它的权限。

环境：

Master和slave的MySQL数据库版本同为5.0.18

操作系统：unbuntu11.10

IP地址：10.100.0.100

2.1.创建复制帐号

1、在Master的数据库中建立一个备份帐户：每个slave使用标准的MySQL用户名和密码连接master。进行复制操作的用户会授予REPLICATIONSLAVE权限。用户名的密码都会存储在文本文件https://www.wendangku.net/doc/f913165333.html,中

命令如下：

mysql>GRANTREPLICATIONSLAVE,RELOAD,SUPERON*.*

TObackup@’10.100.0.200’

IDENTIFIEDBY‘1234’;

建立一个帐户backup，并且只能允许从10.100.0.200这个地址上来登陆，密码是1234。(如果因为mysql版本新旧密码算法不同，可以设置：setpasswordfor'backup'@'10.100.0.200'=old_password('1234')）

2.2.拷贝数据

（假如是你完全新安装mysql主从服务器，这个一步就不需要。因为新安装的master和slave有相同的数据）

关停Master服务器，将Master中的数据拷贝到B服务器中，使得Master和slave中的数据同步，并且确保在全部设置操作结束前，禁止在Master和slave服务器中进行写操作，使得两数据库中的数据一定要相同！

2.3.配置master

接下来对master进行配置，包括打开二进制日志，指定唯一的servrID。例如，在配置文件加入如下值：

server-id=1

log-bin=mysql-bin

server-id：为主服务器A的ID值

log-bin：二进制变更日值

重启master，运行SHOWMASTERSTATUS，输出如下：

2.4.配置slave

Slave的配置与master类似，你同样需要重启slave的MySQL。如下：

log_bin=mysql-bin

server_id=2

relay_log=mysql-relay-bin

log_slave_updates=1

read_only=1

server_id是必须的，而且唯一。slave没有必要开启二进制日志，但是在一些情况下，必须设置，例如，如果slave为其它slave的master，必须设置bin_log。在这里，我们开启了二进制日志，而且显示的命名(默认名称为hostname，但是，如果hostname改变则会出现问题)。

relay_log配置中继日志，log_slave_updates表示slave将复制事件写进自己的二进制日志(后面会看到它的用处)。

有些人开启了slave的二进制日志，却没有设置log_slave_updates，然后查看slave的数据是否改变，这是一种错误的配置。所以，尽量使用read_only，它防止改变数据(除了特殊的线程)。但是，read_only并是很实用，特别是那些需要在slave上创建表的应用。

2.5.启动slave

接下来就是让slave连接master，并开始重做master二进制日志中的事件。你不应该用配置文件进行该操作，而应该使用CHANGEMASTERTO语句，该语句可以完全取代对配置文件的修改，而且它可以为slave指定不同的master，而不需要停止服务器。如下：

mysql>CHANGEMASTERTOMASTER_HOST='server1',

->MASTER_USER='repl',

->MASTER_PASSWORD='p4ssword',

->MASTER_LOG_FILE='mysql-bin.000001',

->MASTER_LOG_POS=0;

MASTER_LOG_POS的值为0，因为它是日志的开始位置。

你可以用SHOWSLAVESTATUS语句查看slave的设置是否正确：

mysql>SHOWSLAVESTATUS\G

***************************1.row***************************

Slave_IO_State:

Master_Host:server1

Master_User:repl

Master_Port:3306

Connect_Retry:60

Master_Log_File:mysql-bin.000001

Read_Master_Log_Pos:4

Relay_Log_File:mysql-relay-bin.000001

Relay_Log_Pos:4

Relay_Master_Log_File:mysql-bin.000001

Slave_IO_Running:No

Slave_SQL_Running:No

...omitted...

Seconds_Behind_Master:NULL

Slave_IO_State,Slave_IO_Running,和Slave_SQL_Running是No

表明slave还没有开始复制过程。日志的位置为4而不是0，这是因为0只是日志文件的开始位置，并不是日志位置。实际上，MySQL知道的第一个事件的位置是4。

为了开始复制，你可以运行：

mysql>STARTSLAVE;

运行SHOWSLAVESTATUS查看输出结果：

mysql>SHOWSLAVESTATUS\G

***************************1.row***************************

Slave_IO_State:Waitingformastertosendevent

Master_Host:server1

Master_User:repl

Master_Port:3306

Connect_Retry:60

Master_Log_File:mysql-bin.000001

Read_Master_Log_Pos:164

Relay_Log_File:mysql-relay-bin.000001

Relay_Log_Pos:164

Relay_Master_Log_File:mysql-bin.000001

Slave_IO_Running:Yes

Slave_SQL_Running:Yes

...omitted...

Seconds_Behind_Master:0

在这里主要是看:

Slave_IO_Running=Yes

Slave_SQL_Running=Yes

slave的I/O和SQL线程都已经开始运行，而且Seconds_Behind_Master不再是NULL。日志的位置增加了，意味着一些事件被获取并执行了。如果你在master上进行修改，你可以在slave上看到各种日志文件的位置的变化，同样，你也可以看到数据库中数据的变化。

你可查看master和slave上线程的状态。在master上，你可以看到slave的I/O线程创建的连接：

在master上输入showprocesslist\G;

mysql>showprocesslist\G

***************************1.row***************************

Id:1

User:root

Host:localhost:2096

db:test

Command:Query

Time:0

State:NULL

Info:showprocesslist

***************************2.row***************************

Id:2

User:repl

Host:localhost:2144

db:NULL

Command:BinlogDump

Time:1838

State:Hassentallbinlogtoslave;waitingforbinlogtobeupdated

Info:NULL

2rowsinset(0.00sec)

行2为处理slave的I/O线程的连接。

在slave服务器上运行该语句：

mysql>showprocesslist\G

***************************1.row***************************

Id:1

User:systemuser

Host:

db:NULL

Command:Connect

Time:2291

State:Waitingformastertosendevent

Info:NULL

***************************2.row***************************

Id:2

User:systemuser

Host:

db:NULL

Command:Connect

Time:1852

State:Hasreadallrelaylog;waitingfortheslaveI/Othreadtoupdateit

Info:NULL

2.6.添加新slave服务器

假如master已经运行很久了，想对新安装的slave进行数据同步，甚至它没有master的数据。

此时，有几种方法可以使slave从另一个服务开始，例如，从master拷贝数据，从另一个slave克隆，从最近的备份开始一个slave。Slave与master同步时，需要三样东西：

(1)master的某个时刻的数据快照；

(2)master当前的日志文件、以及生成快照时的字节偏移。这两个值可以叫做日志文件坐标(logfilecoordinate)，因为它们确定了一个二进制日志的位置，你可以用SHOWMASTERSTATUS命令找到日志文件的坐标；

(3)master的二进制日志文件。

可以通过以下几中方法来克隆一个slave：

(1)冷拷贝(coldcopy)

停止master，将master的文件拷贝到slave；然后重启master。缺点很明显。

(2)热拷贝(warmcopy)

如果你仅使用MyISAM表，你可以使用mysqlhotcopy拷贝，即使服务器正在运行。

(3)使用mysqldump

使用mysqldump来得到一个数据快照可分为以下几步：

<1>锁表：如果你还没有锁表，你应该对表加锁，防止其它连接修改数据库，否则，你得到的数据可以是不一致的。如下：

mysql>FLUSHTABLESWITHREADLOCK;

<2>在另一个连接用mysqldump创建一个你想进行复制的数据库的转储：

shell>mysqldump--all-databases--lock-all-tables>dbdump.db

<3>对表释放锁。

mysql>UNLOCKTABLES;

3.深入了解复制

已经讨论了关于复制的一些基本东西，下面深入讨论一下复制。

3.1.基于语句的复制(Statement-BasedReplication)

MySQL5.0及之前的版本仅支持基于语句的复制（也叫做逻辑复制，logicalreplication），这在数据库并不常见。master记录下改变数据的查询，然后，slave从中继日志中读取事件，并执行它，这些SQL语句与master执行的语句一样。

这种方式的优点就是实现简单。此外，基于语句的复制的二进制日志可以很好的进行压缩，而且日志的数据量也较小，占用带宽少——例如，一个更新GB的数据的查询仅需要几十个字节的二进制日志。而mysqlbinlog对于基于语句的日志处理十分方便。

但是，基于语句的复制并不是像它看起来那么简单，因为一些查询语句依赖于master的特定条件，例如，master与slave可能有不同的时间。所以，MySQL的二进制日志的格式不仅仅是查询语句，还包括一些元数据信息，例如，当前的时间戳。即使如此，还是有一些语句，比如，CURRENTUSER函数，不能正确的进行复制。此外，存储过程和触发器也是一个问题。另外一个问题就是基于语句的复制必须是串行化的。这要求大量特殊的代码，配置，例如InnoDB的next-key锁等。并不是所有的存储引擎都支持基于语句的复制。

3.2.基于记录的复制(Row-BasedReplication)

MySQL增加基于记录的复制，在二进制日志中记录下实际数据的改变，这与其它一些DBMS 的实现方式类似。这种方式有优点，也有缺点。优点就是可以对任何语句都能正确工作，一些语句的效率更高。主要的缺点就是二进制日志可能会很大，而且不直观，所以，你不能使用mysqlbinlog来查看二进制日志。

对于一些语句，基于记录的复制能够更有效的工作，如：

mysql>INSERTINTOsummary_table(col1,col2,sum_col3)

->SELECTcol1,col2,sum(col3)

->FROMenormous_table

->GROUPBYcol1,col2;

假设，只有三种唯一的col1和col2的组合，但是，该查询会扫描原表的许多行，却仅返回三条记录。此时，基于记录的复制效率更高。

另一方面，下面的语句，基于语句的复制更有效：

mysql>UPDATEenormous_tableSETcol1=0;

此时使用基于记录的复制代价会非常高。由于两种方式不能对所有情况都能很好的处理，所以，MySQL5.1支持在基于语句的复制和基于记录的复制之前动态交换。你可以通过设置session变量binlog_format来进行控制。

3.3.复制相关的文件

除了二进制日志和中继日志文件外，还有其它一些与复制相关的文件。如下：

(1)mysql-bin.index

服务器一旦开启二进制日志，会产生一个与二日志文件同名，但是以.index结尾的文件。它用于跟踪磁盘上存在哪些二进制日志文件。MySQL用它来定位二进制日志文件。它的内容如下(我的机器上)：

(2)mysql-relay-bin.index

该文件的功能与mysql-bin.index类似，但是它是针对中继日志，而不是二进制日志。内容如下：

.\mysql-02-relay-bin.000017

.\mysql-02-relay-bin.000018

(3)https://www.wendangku.net/doc/f913165333.html,

保存master的相关信息。不要删除它，否则，slave重启后不能连接master。内容如下(我的机器上)：

I/O线程更新https://www.wendangku.net/doc/f913165333.html,文件，内容如下(我的机器上)：

3.4.发送复制事件到其它slave

当设置log_slave_updates时，你可以让slave扮演其它slave的master。此时，slave 把SQL线程执行的事件写进行自己的二进制日志(binarylog)，然后，它的slave可以获取这些事件并执行它。如下：

3.5.复制过滤(ReplicationFilters)

复制过滤可以让你只复制服务器中的一部分数据，有两种复制过滤：在master上过滤二进制日志中的事件；在slave上过滤中继日志中的事件。如下：

4.复制的常用拓扑结构

复制的体系结构有以下一些基本原则：

(1)每个slave只能有一个master；

(2)每个slave只能有一个唯一的服务器ID；

(3)每个master可以有很多slave；

(4)如果你设置log_slave_updates，slave可以是其它slave的master，从而扩散master 的更新。

MySQL不支持多主服务器复制(MultimasterReplication)——即一个slave可以有多个master。但是，通过一些简单的组合，我们却可以建立灵活而强大的复制体系结构。

4.1.单一master和多slave

由一个master和一个slave组成复制系统是最简单的情况。Slave之间并不相互通信，只能与master进行通信。

在实际应用场景中，MySQL复制90%以上都是一个Master复制到一个或者多个Slave的架构模式，主要用于读压力比较大的应用的数据库端廉价扩展解决方案。因为只要Master和Slave的压力不是太大（尤其是Slave端压力）的话，异步复制的延时一般都很少很少。尤其是自从Slave端的复制方式改成两个线程处理之后，更是减小了Slave端的延时问题。而带来的效益是，对于数据实时性要求不是特别Critical的应用，只需要通过廉价的pcserver 来扩展Slave的数量，将读压力分散到多台Slave的机器上面，即可通过分散单台数据库服务器的读压力来解决数据库端的读性能瓶颈，毕竟在大多数数据库应用系统中的读压力还是要比写压力大很多。这在很大程度上解决了目前很多中小型网站的数据库压力瓶颈问题，甚至有些大型网站也在使用类似方案解决数据库瓶颈。

如果写操作较少，而读操作很时，可以采取这种结构。你可以将读操作分布到其它的slave，从而减小master的压力。但是，当slave增加到一定数量时，slave对master的负载以及网络带宽都会成为一个严重的问题。

这种结构虽然简单，但是，它却非常灵活，足够满足大多数应用需求。一些建议：

(1)不同的slave扮演不同的作用(例如使用不同的索引，或者不同的存储引擎)；

(2)用一个slave作为备用master，只进行复制；

(3)用一个远程的slave，用于灾难恢复；

大家应该都比较清楚，从一个Master节点可以复制出多个Slave节点，可能有人会想，那一个Slave节点是否可以从多个Master节点上面进行复制呢？至少在目前来看，MySQL是做不到的，以后是否会支持就不清楚了。

MySQL不支持一个Slave节点从多个Master节点来进行复制的架构，主要是为了避免冲突的问题，防止多个数据源之间的数据出现冲突，而造成最后数据的不一致性。不过听说已经有人开发了相关的patch，让MySQL支持一个Slave节点从多个Master结点作为数据源来进行复制，这也正是MySQL开源的性质所带来的好处。

4.2.主动模式的

Master-Master(Master-MasterinActive-ActiveMode)

Master-Master复制的两台服务器，既是master，又是另一台服务器的slave。这样，任何一方所做的变更，都会通过复制应用到另外一方的数据库中。

可能有些读者朋友会有一个担心，这样搭建复制环境之后，难道不会造成两台MySQL之间的循环复制么？实际上MySQL自己早就想到了这一点，所以在MySQL的BinaryLog中记录了当前MySQL的server-id，而且这个参数也是我们搭建MySQLReplication的时候必须明确指定，而且Master和Slave的server-id参数值比需要不一致才能使MySQLReplication搭建成功。一旦有了server-id的值之后，MySQL就很容易判断某个变更是从哪一个MySQLServer 最初产生的，所以就很容易避免出现循环复制的情况。而且，如果我们不打开记录Slave 的BinaryLog的选项（--log-slave-update）的时候，MySQL根本就不会记录复制过程中的变更到BinaryLog中，就更不用担心可能会出现循环复制的情形了。

主动的Master-Master复制有一些特殊的用处。例如，地理上分布的两个部分都需要自己的可写的数据副本。这种结构最大的问题就是更新冲突。假设一个表只有一行(一列)的数据，其值为1，如果两个服务器分别同时执行如下语句：

在第一个服务器上执行：

mysql>UPDATEtblSETcol=col+1;

在第二个服务器上执行：

mysql>UPDATEtblSETcol=col*2;

那么结果是多少呢？一台服务器是4，另一个服务器是3，但是，这并不会产生错误。

实际上，MySQL并不支持其它一些DBMS支持的多主服务器复制(MultimasterReplication)，这是MySQL的复制功能很大的一个限制(多主服务器的难点在于解决更新冲突)，但是，如果你实在有这种需求，你可以采用MySQLCluster，以及将Cluster和Replication结合起来，可以建立强大的高性能的数据库平台。但是，可以通过其它一些方式来模拟这种多主服务器的复制。

4.3.主动-被动模式的

Master-Master(Master-MasterinActive-PassiveMode)

这是master-master结构变化而来的，它避免了M-M的缺点，实际上，这是一种具有容错和高可用性的系统。它的不同点在于其中一个服务只能进行只读操作。如图：

4.4.级联复制架构Master–Slaves-Slaves

在有些应用场景中，可能读写压力差别比较大，读压力特别的大，一个Master可能需要上10台甚至更多的Slave才能够支撑注读的压力。这时候，Master就会比较吃力了，因为仅仅连上来的SlaveIO线程就比较多了，这样写的压力稍微大一点的时候，Master端因为复制就会消耗较多的资源，很容易造成复制的延时。

遇到这种情况如何解决呢？这时候我们就可以利用MySQL可以在Slave端记录复制所产生变更的BinaryLog信息的功能，也就是打开—log-slave-update选项。然后，通过二级（或者是更多级别）复制来减少Master端因为复制所带来的压力。也就是说，我们首先通过少

数几台MySQL从Master来进行复制，这几台机器我们姑且称之为第一级Slave集群，然后其他的Slave再从第一级Slave集群来进行复制。从第一级Slave进行复制的Slave，我称之为第二级Slave集群。如果有需要，我们可以继续往下增加更多层次的复制。这样，我们很容易就控制了每一台MySQL上面所附属Slave的数量。这种架构我称之为Master-Slaves-Slaves架构

这种多层级联复制的架构，很容易就解决了Master端因为附属Slave太多而成为瓶颈的风险。下图展示了多层级联复制的Replication架构。

当然，如果条件允许，我更倾向于建议大家通过拆分成多个Replication集群来解决

上述瓶颈问题。毕竟Slave并没有减少写的量，所有Slave实际上仍然还是应用了所有的数据变更操作，没有减少任何写IO。相反，Slave越多，整个集群的写IO总量也就会越多，我们没有非常明显的感觉，仅仅只是因为分散到了多台机器上面，所以不是很容易表现出来。此外，增加复制的级联层次，同一个变更传到最底层的Slave所需要经过的MySQL也会更多，同样可能造成延时较长的风险。

而如果我们通过分拆集群的方式来解决的话，可能就会要好很多了，当然，分拆集群也需要更复杂的技术和更复杂的应用系统架构。

4.5.带从服务器的Master-Master结构

(Master-MasterwithSlaves)

这种结构的优点就是提供了冗余。在地理上分布的复制结构，它不存在单一节点故障问题，而且还可以将读密集型的请求放到slave上。

级联复制在一定程度上面确实解决了Master因为所附属的Slave过多而成为瓶颈的问题，但是他并不能解决人工维护和出现异常需要切换后可能存在重新搭建Replication的问题。这样就很自然的引申出了DualMaster与级联复制结合的Replication架构，我称之为Master-Master-Slaves架构

和Master-Slaves-Slaves架构相比，区别仅仅只是将第一级Slave集群换成了一台单独的Master，作为备用Master，然后再从这个备用的Master进行复制到一个Slave集群。

这种DualMaster与级联复制结合的架构，最大的好处就是既可以避免主Master的写入操作不会受到Slave集群的复制所带来的影响，同时主Master需要切换的时候也基本上不会出现重搭Replication的情况。但是，这个架构也有一个弊端，那就是备用的Master有可能成为瓶颈，因为如果后面的Slave集群比较大的话，备用Master可能会因为过多的SlaveIO线程请求而成为瓶颈。当然，该备用Master不提供任何的读服务的时候，瓶颈出现的可能性并不是特别高，如果出现瓶颈，也可以在备用Master后面再次进行级联复制，架设多层Slave集群。当然，级联复制的级别越多，Slave集群可能出现的数据延时也会更为明显，所以考虑使用多层级联复制之前，也需要评估数据延时对应用系统的影响。

MySQL主从复制、搭建、状态检查、中断排查及备库重做 实战手册

美河学习在线https://www.wendangku.net/doc/f913165333.html, MySQL主从复制 MySQL主从复制、搭建、状态检查、中断排查及备库重做 本文档主要对MySQL主从复制进行简单的介绍，包括原理简介、搭建步骤、状态检查、同步中断及排查、备库重建。

目录 一、MySQL主从复制概述 (2) 1、主从复制简介 (2) 2、主从复制原理、机制 (2) 3、主从复制原理图 (3) 二、MySQL主从复制搭建 (4) 1、Master端配置部署 (4) 2、Slave端配置部署 (4) 3、建立主从同步 (4) 三、主从复制状态检查及异常处理 (6) 1、主从复制状态检查 (6) 2、IO_thread异常 (7) 3、sql_thread异常 (8) 4、主从复制延迟 (9)

一、MySQL主从复制概述 1、主从复制简介 MySQL主从复制就是将一个MySQL实例（Master）中的数据实时复制到另一个MySQL实例(slave)中，而且这个复制是一个异步复制的过程。 实现整个复制操作主要由三个进程完成的，其中两个进程在Slave（sql_thread和IO_thread），另外一个进程在 Master（IO进程）上。 2、主从复制原理、机制 要实施复制，首先必须打开Master端的binary log（bin-log）功能，否则无法实现。因为整个复制过程实际上就是Slave从Master端获取该日志然后再在自己身上完全顺序的执行日志中所记录的各种操作。 复制的基本过程如下： 1)、Slave上面的IO_thread连接上Master，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容； 2)、Master接收到来自Slave的IO_thread的请求后，通过负责复制的IO进程根据请求信息读取制定日志指定位置之后的日志信息，返回给Slave 的IO_thread。返回信息中除了日志所包含的信息之外，还包括本次返回的信息已经到Master端的bin-log file的以及bin-log pos； 3)、Slave的IO_thread接收到信息后，将接收到的日志内容依次添加到Slave端的relay-log文件的最末端，并将读取到的Master端的 bin-log的文件名和位置记录到master-info文件中，以便在下一次读取的时候能够清楚的告诉Master“我需要从某个bin-log的哪个位置开始往后的日志内容，请发给我”； 4)、Slave的Sql_thread检测到relay-log中新增加了内容后，会马上解析relay-log 的内容成为在Master端真实执行时候的那些可执行的内容，并在本数据库中执行。

MySQL主从、主主复制及高可用性要点

一：MySQL复制： MySQL复制简介： 将master服务器中主数据库的ddl和dml操作通过二进制日志传到slaves服务器上，然后在master服务器上将这些日志文件重新执行，从而使得slave服务器和master服务器上的数据信息保持同步。 Mysql复制的原理： 将数据分布到多个系统上去，是通过将Mysql的某一台master主机的数据复制到其它（slave）主机上，并重新执行一遍来实现的； 复制过程中一个服务器充当master服务器，而一台或多台其它服务器充当slave服务器。master服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。 这些日志可以记录发送到slave服务器的更新。当一个slaves服务器连接master服务器时，它通知master服务器从服务器在日志中读取的最后一次成功更新的位置。slave服务器接收从那时起发生的任何更新，然后封锁并等待master服务器通知新的更新。 mysql复制的优点： 在slave服务器上执行查询操作，降低master服务器的访问压力 当master服务器上出现了问题可以切换到slave服务器上，不会造成访问中断等问题 在slave服务器上进行备份，以避免备份期间影响master服务器的服务使用及日常访问

Mysql自身的复制功能：是构建大型、高性能应用程序的基础。 mysql支持的复制类型： 基于语句的复制：在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。一旦发现没法精确复制时，会自动选着基于行的复制。 基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍. 从mysql5.0开始支持 混合类型的复制:：默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。 MySQL复制技术的特点： 数据分布(Data distribution ) 备份(Backups) 负载平衡(load balancing) 高可用性和容错性High availability and failover 复制的工作过程： master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）； slave将master的binary log events拷贝到它的中继日志(relay log)； slave重做中继日志中的事件，将改变反映它自己的数据。

MySQL最全整理(面试题+笔记+导图),面试大厂不再被MySql难倒!

前言 作为一名编程人员，对MySQL一定不会陌生，尤其是互联网行业，对MySQL的使用是比较多的。对于求职者来说，MySQL又是面试中一定会问到的重点，很多人拥有大厂梦，却因为MySQL败下阵来。实际上，MySQL并不难，今天这份最全的MySQL总结，助你向大厂“开炮”，面试不再被MySQL难倒。 注意：关于MySQL的内容整理，包括了面试题、学习笔记、使用文档以及Xmind思维图几个部分，需要高清完整版的请转发+关注，然后私信回复“666”获得免费领取方式 01、MySQL 面试题集合总结 1.1 MySQL 面试题（基础部分）： ?drop、truncate、delete区别 ?数据库三范式是什么? ?union和union all有什么不同? ?char、varchar2、varchar有什么区别？ ?合并查询有哪些？ ?SQL语句执行顺序 ?null的含义 ?MySQL、SqlServer、oracle写出字符存储、字符串转时间 ?update语句可以修改结果集中的数据吗？ ?B树和B+树的区别 ?你建过索引吗? 建索引的原则 ?索引的类型, 如主键索引 ?查看SQL执行计划

?有十万条数据, 写SQL语句查询其中某字段较大值的几条数据 ?子查询与关联查询的区别 ?MySQL InnoDB、Mysaim的特点？ ?乐观锁和悲观锁的区别？？ ?行锁和表锁的区别？ ?数据库隔离级别是什么？有什么作用？ ?MySQL主备同步的基本原理。 ?如何优化数据库性能（索引、分库分表、批量操作、分页算法、升级硬盘SSD、业务优化、主从部署） ?SQL什么情况下不会使用索引（不包含，不等于，函数） ?一般在什么字段上建索引（过滤数据最多的字段） ?MySQL，B+索引实现，行锁实现，SQL优化 ?如何解决高并发减库存问题 ?数据库事务的几种粒度 1.2 MySQL 面试题（实战部分）： ?数据库三范式，根据秒杀场景设计数据表 ?数据库的主从复制 ?死锁怎么解决 ?mysql并发情况下怎么解决（通过事务、隔离级别、锁） ?触发器的作用？ ?什么是存储过程？用什么来调用？ ?存储过程的优缺点？

mysql主从复制原理

主从复制的原理： 分为同步复制和异步复制，实际复制架构中大部分为异步复制。 复制的基本过程如下： 1)、Slave上面的IO进程连接上Master，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容； 2)、Master接收到来自Slave的IO进程的请求后，通过负责复制的IO进程根据请求信息读取制定日志指定位置之后的日志信息，返回给Slave 的IO进程。返回信息中除了日志所包含的信息之外，还包括本次返回的信息已经到Master端的bin-log文件的名称以及bin-log的位置； 3)、Slave的IO进程接收到信息后，将接收到的日志内容依次添加到Slave端的relay-log文件的最末端，并将读取到的Master端的bin-log的文件名和位置记录到master-info文件中，以便在下一次读取的时候能够清楚的告诉Master“我需要从某个bin-log的哪个位置开始往后的日志内容，请发给我”； 4)、Slave的Sql进程检测到relay-log中新增加了内容后，会马上解析relay-log的内容成为在Master端真实执行时候的那些可执行的内容，并在自身执行。 Mysql为了解决这个风险并提高复制的性能，将Slave端的复制改为两个进程来完成。提出这个改进方案的人是Y ahoo!的一位工程师“Jeremy Zawodny”。这样既解决了性能问题，又缩短了异步的延时时间，同时也减少了可能存在的数据丢失量。当然，即使是换成了现在这样两个线程处理以后，同样也还是存在slave 数据延时以及数据丢失的可能性的，毕竟这个复制是异步的。只要数据的更改不是在一个事物中，这些问题都是会存在的。如果要完全避免这些问题，就只能用mysql的cluster来解决了。不过mysql的cluster是内存数据库的解决方案，需要将所有数据都load到内存中，这样就对内存的要求就非常大了，对于一般的应用来说可实施性不是太大。 复制常用架构 Mysql复制环境90%以上都是一个Master带一个或者多个Slave的架构模式，主要用于读压力比较大的应用的数据库端廉价扩展解决方案。因为只要master和slave的压力不是太大（尤其是slave端压力）的话，异步复制的延时一般都很少很少。尤其是自slave端的复制方式改成两个进程处理之后，更是减小了slave端的延时。而带来的效益是，对于数据实时性要求不是特别的敏感度的应用，只需要通过廉价的pc server来扩展slave的数量，将读压力分散到多台slave的机器上面，即可解决数据库端的读压力瓶颈。这在很大程度上解决了目前很多中小型网站的数据库压力瓶颈问题，甚至有些大型网站也在使用类似方案解决数据库瓶颈。 Mysql主从复制配置过程： 环境：master: 192.168.0.3 Slave: 192.168.0.4 Mysql版本为5.0.67（编译安装） database: eric 1.Master服务器启动mysql， a)#mysql –uroot –proot b)创建一个有复制权限的用户，只限slave远程连接访问. i. mysql>grant replication slave on *.* to replication@192.168.0.4

mysql数据库主主同步方案

Mysql 数据库主主（master-master）同步方案 一、MySQL同步概述 1.MySQL数据的复制的基本介绍 目前MySQL数据库已经占去数据库市场上很大的份额，其一是由于MySQL数据的开源性和高性能，当然还有重要的一条就是免费~不过不知道还能免费多久，不容乐观的未来，但是我们还是要能熟练掌握MySQL数据的架构和安全备份等功能，毕竟现在它还算是开源界的老大吧！ MySQL数据库支持同步复制、单向、异步复制，在复制的过程中一个服务器充当主服务，而一个或多个服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。 请注意当你进行复制时，所有对复制中的表的更新必须在主服务器上进行。否则，你必须要小心，以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。 单向复制有利于健壮性、速度和系统管理： 健壮性：主服务器/从服务器设置增加了健壮性。主服务器出现问题时，你可以切换到从服务器作为备份。

速度快：通过在主服务器和从服务器之间切分处理客户查询的负荷，可以得到更好的客户响应时间。SELECT查询可以发送到从服务器以降低主服务器的查询处理负荷。但修改数据的语句仍然应发送到主服务器，以便主服务器和从服务器保持同步。如果非更新查询为主，该负载均衡策略很有效，但一般是更新查询。 系统管理：使用复制的另一个好处是可以使用一个从服务器执行备份，而不会干扰主服务器。在备份过程中主服务器可以继续处理更新。 2.MySQL数据复制的原理 MySQL复制基于主服务器在二进制日志中跟踪所有对数据库的更改(更新、删除等等)。因此，要进行复制，必须在主服务器上启用二进制日志。 每个从服务器从主服务器接收主服务器已经记录到其二进制日志的保存的更新，以便从服务器可以对其数据拷贝执行相同的更新。 认识到二进制日志只是一个从启用二进制日志的固定时间点开始的记录非常重要。任何设置的从服务器需要主服务器上的在主服务器上启用二进制日志时的数据库拷贝。如果启动从服务器时，其数据库与主服务器上的启动二进制日志时的状态不相同，从服务器很可能失败。 将主服务器的数据拷贝到从服务器的一个途径是使用LOAD DATA FROM MASTER语句。请注意LOAD DATA FROM MASTER目前只在

MySQL主从同步原理+部署

MySQL主从同步原理+部署 一.主从的作用： 1.可以当做一种备份方式 2.用来实现读写分离，缓解一个数据库的压力 二.MySQL主从备份原理 master 上提供binlog , slave 通过 I/O线程从 master拿取 binlog,并复制到slave的中继日志中 slave 通过 SQL线程从 slave的中继日志中读取binlog ,然后解析到slave中 部署主从环境：主服务器：192.168.1.110（编译好的MySQL5.1版本的数据库）从服务器：192.168.1.120（编译好的MySQL5.1版本的数据库） （温馨提示：主和从数据库版本必须是一样。或者主库的数据库版本必须比从库高,不然会导致很多故障的发生。） 三：生产环境应用MySQL主从同步场景： 1.一般用主库做为提供业务用户写操作（比如：在互联网上写一条微博，这时候就会 写到mysql数据库的主库中） 2.一般用从库做为提供业务用户读操作（比如：在互联网上，我想看一条微博，这时 候里面提供数据就是MySQL数据库的从库中。） (1)在主服务器（192.168.1.110）上操作。 [root@Jiechao ~]# ifconfig eth0 eth0 Link encap:Ethernet HWaddr 00:0C:29:5E:6F:A7 inet addr:192.168.1.110 Bcast:192.168.1.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:fe5e:6fa7/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:141354 errors:0 dropped:0 overruns:0 frame:0 TX packets:140807 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:142083379 (135.5 MiB) TX bytes:17815696 (16.9 MiB) Interrupt:193 Base address:0x2000 [root@Jiechao ~]# vi /etc/https://www.wendangku.net/doc/f913165333.html,f [mysqld]在mysqld下添加以上两行。 server-id = 1 log-bin=jiechao-bin [root@Jiechao ~]# /etc/init.d/mysqld restart Shutting down MySQL[ OK ] Starting MySQL.[ OK ]

数据库读写分离方案及对比

数据库读写分离方案及对比版本日期修改历史作者

目录 1概述 (3) 2背景 (3) 3数据库读写分离方案 (3) 3.1Oracle数据库几种常用的复制技术及特点 (3) 3.2异构数据库（Oracle+Mysql）+ GoldenGate (3) 3.2.1方案描述 (3) 3.2.2实现原理 (4) 3.3异构数据库（Oracle+Mysql）+ 其他复制技术 (6) 3.4同构数据库（Oracle）+ GoldenGate (6) 3.4.1方案描述 (6) 3.4.2实现原理 (7) 3.5同构数据库（Oracle）+ DataGuard (7) 3.6同构数据库（SqlServer2008 企业版） (7) 3.6.1实现原理 (8) 3.7同构数据库（Mysql5社区版） (8) 4方案对比 (9)

1概述 本文主要是描述SVC（统一客户视图）项目的数据库读写分离的几种解决方案及优缺点对比。2背景 为了能进一步提升SVC业务系统的服务质量水平、运行效率、系统健壮性稳定性及运行安全，信息中心提出了对SVC的架构进行调整升级，以满足目前及未来的建设需求。 为了缓解大并发的情况下对数据库造成的压力，方案中引入了缓存及数据库的读写分离的技术解决问题。这里针对数据库的读写分离方案有几种实现方式，这里主要是描述这几种方案，以及这几种方案的对比，最后根据具体的情况选择最适合的方案。 由于是比较重要的业务系统，数据量及访问量都比较大，数据的存储主要考虑Oracle、DB2、SQLServer等知名商业数据库厂商。考虑到实现的技术复杂度及运维难度这里主要推荐Oracle作为存储数据库。 3数据库读写分离方案 这里初步提议的数据库有两种，Oracle 11g与Mysql 5。 3.1O racle数据库几种常用的复制技术及特点 3.2异构数据库（Oracle+Mysql）+ GoldenGate 3.2.1方案描述 该方案使用的是异构数据库，其中主数据为Oracle双机热备，从数据库使用的是多台Mysql。主数据库可进行读写操作，主要是进行写操作，从数据库只能读操作。下面是该方案的逻辑架构图：

数据库管理员岗位的主要职责表述

数据库管理员岗位的主要职责表述 本文是关于数据库管理员岗位的主要职责表述，仅供参考，希望对您有所帮助，感谢阅读。 数据库管理员岗位的主要职责表述1 职责： 1、负责生产数据库(MySQL/Redis/MongoDB等)的日常运维、稳定性保障、性能优化; 2、根据业务需求选型数据库存储方案，优化性能，实施集群迁移及扩容，提高业务高可用性和容灾能力; 3、制定数据库监控、备份、容灾策略，确保数据库服务的正常稳定运行和应急响应及时定位和排除数据库故障，并对数据库进行持续优化; 4、提供数据库开发支持，负责SQL代码的上线审核，优化; 5、参与开发数据库运维工具脚本; 6、配合研发制定数据库技术方案，分库分表策略，数据迁移方案。 任职资格 1、具有2年以上DBA实际工作经验,具有中大型互联网数据库运维和管理经验优先; 2、熟悉常用存储引擎的功能和特点以及主从复制原理和实践; 3、熟悉MySQLDBA数据库基本原理，深入理解引擎、事务、锁机制等内部工作原理及优化; 4、熟悉数据库容量规划和分库、分表设计方法，有数据库设计和支持经验，熟悉大数据集群及具有相关维护工作经验; 5、熟悉Linux操作系统，能熟练进行日常系统管理操作; 6、有memcache、redis、mongodb经验优先; 7、善于沟通，积极分享，具有良好的团队协作能力、高度敬业精神. 数据库管理员岗位的主要职责表述2 职责

1、负责数据库的日常操作、安装、配置、监控、负载均衡、实时备份、恢复和管理; 2、依据业务需求优化数据存储结构; 3、通过数据库的日常检查，对性能较差的SQL语句提出优化方案; 4、协助项目其他成员设计关键的SQL语句和触发器、存储过程、表等; 5、负责数据库架构设计、分布式缓存设计等，解决多种业务模式下的可扩展、高可用、负载均衡等关键技术问题. 任职要求 1、相关工作经验2年以上; 2、熟悉Linux系统，能编写Shell或python脚本; 3、掌握数据库的高可用、迁移、扩容、备份恢复、性能监控; 4、熟悉Oracle、Mysql、Sql Server 数据库运行机制、体系架构，熟悉表结构和SQL优化; 5、熟练掌握Oracle数据库维护，能对业务需求和故障进行及时响应和处理，能解决Oracle RAC和DataGuard的故障; 6、熟练掌握MySQ数据库维护;掌握第三方配套工具Mycat、MMM、MHA等原理和实现及其故障排除; 7、熟悉Sql Server数据库维护. 数据库管理员岗位的主要职责表述3 职责： 1.负责全行数据库的日常维护，包括故障排查、性能优化、数据库升级或迁移; 2.负责全行数据库备份规划管理，包括数据库备份配置、故障处理、备份有效性校验。 3.负责全行数据库相关故障的排查、处理、优化，并且提出针对性的预防措施。 4.负责规划全行数据库架构设计方案和实施优化。 任职条件：

mysql数据库复制维护说明

mysql数据库复制维护方法 编写人：胡家惠 日期：2007-9-26 数商的数据库服务器采用一主两从的结构，即一台主数据库服务器，两台从数据库服务器，主服务器负责读写，从服务器只能读取。以下例子中假设主服务器的IP地址是：172.20.16.204。从服务器的IP地址分别是：172.20.16.205，172.20.16.214。主服务器上更新的数据将通过mysql的复制功能复制到其它两台从服务器上，复制是异步进行的，延迟时间正常在3秒左右，如果是小数据量的更新操作，延迟时间将会更小，估计在1秒以下，完全能满足应用的需求。Web 服务器对数据库的访问负载将同时分布到这三台服务器上，从测试的情况看，主服务器的负载明显比从服务器的负载大，一个主要的原因是主服务器负责读写，而从服务器只分配一些查询的负载。 Mysql数据库复制维护主要包括：日常监控和维护，主从切换，从服务器拷贝，根据一个最可靠的从服务器数据生成另外一个从服务器，并把这个最可靠的从服务器升级为主服务器。目标就是当数据库出现故障时，能尽快的修复，最小化故障时间。 一、日常监控和维护 日常监控和维护的目的就是监控mysql复制进程的运行情况，解决发生的故障问题，保证主从服务器数据的一致性。 以下是用作日常监控的几条命令，说明如下： Show master status; 显示主服务器当前复制进程所处的bin文件名和位置 Show slave status\G; 显示从服务器复制进程的状态 Slave stop; 在从服务器上停止复制进程 Slave start; 在从服务器上启动复制进程 Set global sql_slave_skip_counter=1; 跳过一个错误的位置 Change master to master_log_file='mysql-bin.000001',master_log_pos=98; 改变到指定的日志位置点：日志文件mysql-bin.000001，位置98 示例： mysql> show slave status\G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 172.20.16.204

mysql主从数据库的配置说明文档

一、主从配置的原理: MySQL的 Replication 是一个异步的复制过程，从一个 MySQL instace(我们称之为 Master)复制到另一个MySQL instance(我们称之 Slave)。在 Master 与 Slave之间的实现整个复制过程主要由三个线程来完成，其中两个线程(Sql 线程和IO线程)在 Slave 端，另外一个线程(IO线程)在 Master端。 要实现MySQL 的Replication ，首先必须打开Master 端的Binary Log(MySQL-bin.xxxxxx)功能，否则无法实现。因为整个复制过程实际上就是Slave从Master端获取该日志然后再在自己身上完全顺序的执行日志中所记录的各种操作。打开 MySQL 的 Binary Log 可以通过在启动 MySQL Server 的过程中使用“—log-bin”参数选项，或者在 https://www.wendangku.net/doc/f913165333.html,f 配置文件中的 MySQLd 参数组([MySQLd]标识后的参数部分)增加“log-bin”参数项。 MySQL 复制的基本过程如下： 1. Slave 上面的IO线程连接上 Master，并请求从指定日志文件的指定位置(或者从最开始的日志)之后的日志内容; 2. Master 接收到来自 Slave 的 IO 线程的请求后，通过负责复制的 IO线程根据请求信息读取指定日志指定位置之后的日志信息，返回给 Slave 端的 IO 线程。返回信息中除了日志所包含的信息之外，还包括本次返回的信息在 Master 端的 Binary Log 文件的名称以及在 BinaryLog 中的位置; 3. Slave 的 IO 线程接收到信息后，将接收到的日志内容依次写入到 Slave 端的RelayLog文件(MySQL-relay-bin.xxxxxx)的最末端，并将读取到的Master 端的bin-log的文件名和位置记录到master-info文件中，以便在下一次读取的时候能够清楚的高速Master“我需要从某个bin-log的哪个位置开始往后的日志内容，请发给我” 4. Slave 的 SQL 线程检测到 Relay Log 中新增加了内容后，会马上解析该 Log 文件中的内容成为在 Master端真实执行时候的那些可执行的 Query 语句，并在自身执行这些 Query。这样，实际上就是在 Master 端和 Slave端执行了同样的 Query，所以两端的数据是完全一样的。

mysql双主架构方案设计

mysql双主架构方案设计 mysql支持单向、异步复制，复制过程中一个服务器充当主服务器，而一个或多个其他服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护日志文件的一个索引以跟踪日志循环。当一个从服务器连接到主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接受从那时起发生的任何更新，然后封锁并等待主服务器通知下一次更新。 mysql_proxy，是处在应用端和数据库服务器之间的程序，支持嵌入性脚本语言Lua。mysql_proxy可以用于分析、监控和转换通信数据，支持数据库层负载均衡和读写分离的功能。 1mysql双主架构设计

Client... 架构说明： ●mysql1和mysql2互为主从关系，数据库间通过复制（Replication）实现数据的同步。 ●client端直接连接mysql_proxy，通过mysql_proxy实现到数据库的负载均衡和读写分 离； ●mysql高可用性架构，常用的有主从复制、主主复制及双主从等形式，基于业务的实际 需要进行选择考虑。 2mysql主从复制配置 2.1主从配置需要注意的点 (1)主从服务器操作系统版本和位数一致；

(2) Master和Slave数据库的版本要一致； (3) Master和Slave数据库中的数据要一致； (4) Master开启二进制日志，Master和Slave的server_id在局域网内必须唯一； 2.2主从配置的步骤 2.2.1M aster上的配置 (1) 安装数据库； (2) 修改数据库配置文件，指明server_id，开启二进制日志(log-bin)； (3) 启动数据库，查看当前是哪个日志，position号是多少； (4) 登录数据库，授权数据复制用户（IP地址为从机IP地址，如果是双向主从，这里的还需要授权本机的IP地址，此时自己的IP地址就是从IP地址)； (5) 备份数据库（记得加锁和解锁）； (6) 传送备份数据到Slave上； (7) 启动数据库； 以下步骤，为单向主从搭建成功，想搭建双向主从需要的步骤： (1) 登录数据库，指定Master的地址、用户、密码等信息（此步仅双向主从时需要）； (2) 开启同步，查看状态； 2.2.2S lave上的配置 (1) 安装数据库； (2) 修改数据库配置文件，指明server_id（如果是搭建双向主从的话，也要开启二进制日志

手把手教你实现MySQL双机数据同步

手把手教你实现MySQL双机数据同步 假设目前有两台 MySQL 数据库服务器，如何实现这两台机器的数据同步问题？很多朋友一开始接触MySQL双机同步需求的时候可能会感到不知道从哪里入手，事实上这是MySQL本身就支持的功能之一。本文提供有关MySQL主从同步的初步思路，供大家参考。 AD： 编者按：很多朋友一开始接触MySQL双机同步需求的时候可能会感到不知道从哪里入手，事实上这是MySQL本身就支持的功能之一。本文提供有关MySQL主从同步的初步思路，供大家参考。 一.需求问题 假设目前有两台 MySQL 数据库服务器，如何实现这两台机器的数据同步问题？即在一台机器上修改数据库后，另一台机器会同步更新所修改的信息。 二.解决方案 查资料发现 MySQL 支持单向，异步复制，复制过程中一个服务器充当主服务器，而另一个或多个其他服务器充当从服务器。 原理是这样的： 主服务器将更新写入二进制日志文件，并维护文件的一个索引来跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接受从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。 2.1 测试环境 1.Master : 19 2.168.7.67 (CentOS 5.5 x86_64 ) MySQL Version : 5.0.77 2.Slave: 192.168.56.103 (CentOS 5.3 i386) MySQL Version : 5.0.4 5 备注： Master 和 slave 端的 MySQL 版本最好要一样的，或者 Master 端的版本高于Slave 端 2.2 配置过程 2.2.1 Master 端设置

linux运维mysql

赵班长原创作品系统运维之MySQL DBA UNIXHOT开源社区

赵班长原创作品 系统运维之MySQL DBA 时间：2010年6月3日 姓名：赵班长 版本：1.0 实验目的：通过实验掌握MySQL数据库相关应用。 实验环境：Red Hat Enterprise Linux Server release5.3(Tikanga) 实验简介： UNIXHOT开源社区致力于为想成为系统运维工程师、系统集成工程师、系统架构师、MySQL DBA 和Oracle DBA的互联网朋友们创造一个开源的、共享的、完整的、创新的、一站式的学习和交流平台。欢迎大家加入，让我们成为一个圈子。 注意：本文为从入门到精通的一个一站式学习文档，如果想更深入的学习MySQL，请参考MySQL 的官方文档，也可以在UnixHot开源论坛讨论学习。 此文档持续更新中......学习讨论请进-->【MySQL DBA】版块 实验步骤： 第一章MySQL概述 第二章MySQL源码安装 第三章MySQL Replication 第四章MySQL Proxy 第五章MySQL Cluster 实验内容：

赵班长原创作品MySQL是最流行的开放源码SQL数据库管理系统，它是由MySQL AB公司开发、发布并支持的。它的插入式存储引擎可以让使用者根据实际应用使用不同的存储 1.2MySQL相关链接 MySQL官方网站：https://www.wendangku.net/doc/f913165333.html,/ MySQL社区版本下载地址：https://www.wendangku.net/doc/f913165333.html,/downloads/mysql/ MySQL中文文档：https://www.wendangku.net/doc/f913165333.html,/doc/refman/5.1/zh/index.html 第二章MySQL源码安装 2.1解压并编译安装 [root@MySQL-Master src]#tar zxvf mysql-5.1.45.tar.gz [root@MySQL-Master src]#cd mysql-5.1.45 [root@MySQL-Master mysql-5.1.45]#./configure--prefix=/usr/local/mysql\ --localstatedir=/unixhot/mysql--enable-assembler--with-system-type="RedHat Enterprise"\ --with-client-ldflags=-all-static--with-mysqld-ldflags=-all-static\ --with-pthread--enable-static--with-big-tables--without-ndb-debug\ --with-charset=utf8--with-extra-charsets=all\ --without-debug--enable-thread-safe-client--enable-local-infile--with-plugins=max [root@MySQL-Master mysql-5.1.45]#make&&make install 2.2安装参数介绍 --prefix=/usr/local/mysql//主程序安装目录

利用phpmyadmin设置mysql主从同步(或者备份)

最近由于一个简单需求必须保证多个数据库一致性，因此不得不用到数据库之间的同步。mysql数据库同步，自己本身就做的很好，我们只需要简单设置就可以搞定了，并且加上phpmyadmin就更简单了。这里，我们主要介绍一下怎样通过phpmyadmin辅助设置主从数据库同步。 一、实现同步的原理： 在主数据库与从数据库之间的实现整个复制过程主要由三个线程来完成，其中两个线程(Sql线程和IO线程)在从数据库端，另外一个线程(IO线程)在主数据库端。 注意： 1.要实现同步，必须先启动主数据库（相当于开启一个服务，等待其他数据库来连接），然后在启动从数据库 2.数据库的版本要一致 二、具体步骤 1.打开主数据库，找到复制功能 选择自己需要同步的数据（或者排除的数据库）生成一段代码，打开住数据库的my.conf（默认：/etc/mysql/https://www.wendangku.net/doc/f913165333.html,f），在配置文件最后加上一行 [mysqld]，再加上phpmyadmin生成的代码。即： [mysqld] server-id=3936765 log-bin=mysql-bin

log-error=mysql-bin.err binlog_ignore_db=test 然后重启数据库 /etc/init.d/mysql restart 现在回到phpmyadmin的复制界面，我们可以看到如图则表示主数据库已经配置成功 现在我们就可以添加复制的用户了，可根据自己的需求添加用户， 注意：如果我们添加的用户的【主机】不是127.0.0.1的就必须修改我们的mysql 配置文件，因为mysql默认安装是只允许127.0.0.1连接的。我们需要找到以下两句话，然后注释掉就可以了，当然需要重启mysql #skip-external-locking #bind-address=127.0.0.1 2.现在配置从数据库 同样的，进入从数据库的phpmyadmin的复制界面，选择【从复制】的配置。进入之后，phpmyadmin会默认生成一个随机的线程ID（也可以自己写一个），跟配置主数据库一样，在从数据库的配置文件中加入 [mysqld] server-id=1375673884

高性能Mysql主从架构的复制原理及配置详解

高性能Mysql主从架构的复制原理及配置详解 1 复制概述 Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。 请注意当你进行复制时，所有对复制中的表的更新必须在主服务器上进行。否则，你必须要小心，以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。 1.1 mysql支持的复制类型： （１）：基于语句的复制：在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。 一旦发现没法精确复制时，会自动选着基于行的复制。 （２）：基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍. 从mysql5.0开始支持 （３）：混合类型的复制: 默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。 1.2 . 复制解决的问题 MySQL复制技术有以下一些特点： (1) 数据分布 (Data distribution ) (2) 负载平衡(load balancing) (3) 备份(Backups) (4) 高可用性和容错行 High availability and failover 1.3 复制如何工作 整体上来说，复制有3个步骤：

Mysql双机互备热备,自动切换

Mysql双机互备热备,自动切换 Mysql双机互备热备,自动切换 星期日, 12/20/2009 - 22:15 — wdlinux 作者:wdlinux https://www.wendangku.net/doc/f913165333.html, QQ:12571192 我的Linux,开源技术,应用方案,集群架构,高可用,负载均衡,分流,性能优化 欢迎转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明. Mysql双机互备热备 在实际的应用中，数据库是非常重要和关键的一个环节。在保障数据库安全的同时，提高应用性和缩短出故障后的恢复时间，也同等重要。特别是在一些持续性和实时性要求高的应用中，故障一小时，可能会让你损失几千到几万甚至更高。本方案致力于数据库实时备份，并且在故障发生后以最短的时间恢复和修复 在mysql数据库的备份应用中，主从复制结构是应用的比较广泛，数据同步和实时性都很高，基本上能满足大部分的需求。 本方案基于主从复制结构的基础上，当主库出现故障时，从

库能自动接管主库的功能，向外提供服务，且将自身设置为主库，将这个故障时间和影响缩短至最小，5秒内可切换完成。待原主库修复后，会自动进入从库的备份角色，如此循环。 在本方案的实现中，有两种方法且均基于mysql的主从结构中 1 高可用(High Availability)HA集群，用heartbeat实现及增加了故障后的恢复功能 2 同样是高可用，只是是自己编写脚本程序来监控，切换，恢复 在方法1中，使用稳定的heartbeat开源软件实现，但此方法，需要多一个IP对外访问，同时在监控上，是监控机器的状态而不是mysql，有些情况下，机器是好的但mysql服务挂了，这种情况下就不准确了。不过可以修改监控方式或增加对mysql服务的监控 方法2中，可以不用增加一个对外IP，同时在监控上，可以直接监控mysql的服务，至于稳定性，有待测试。此方法中还有一个问题，就是提供给客户端的数据库连接IP，因为切换后，IP也就变了。如果说更改程序，那不现实。所以，这里可以用域名，不过仍然需要修改域名的IP指向或是修改客户机的hosts文件。本文使用的是修改DNS的方法，因为DNS是自己配置的，可以灵活操作。

MySQL读写分离

常用命令: service mysqld start service iptables stop mysql–u root 主从复制 概念 影响MySQL-A数据库的操作，在数据库执行后，都会写入本地的日志系统A中。

假设，实时的将变化了的日志系统中的数据库事件操作，在MYSQL-A的3306端口，通过网络发给MYSQL-B。 MYSQL-B收到后，写入本地日志系统B，然后一条条的将数据库事件在数据库中完成。 那么，MYSQL-A的变化，MYSQL-B也会变化，这样就是所谓的MYSQL的复制，即MYSQL replication。 在上面的模型中，MYSQL-A就是主服务器，即master，MYSQL-B就是从服务器，即slave。 日志系统A，其实它是MYSQL的日志类型中的二进制日志，也就是专门用来保存修改数据库表的所有动作，即bin log。【注意MYSQL会在执行语句之后，释放锁之前，写入二进制日志，确保事务安全】 日志系统B，并不是二进制日志，由于它是从MYSQL-A的二进制日志复制过来的，并不是自己的数据库变化产生的，有点接力的感觉，称为中继日志，即relay log。 可以发现，通过上面的机制，可以保证MYSQL-A和MYSQL-B的数据库数据一致，但是时间上肯定有延迟，即MYSQL-B的数据是滞后的。 【即便不考虑什么网络的因素，MYSQL-A的数据库操作是可以并发的执行的，但是MYSQL-B 只能从relay log中读一条，执行下。因此MYSQL-A的写操作很频繁，MYSQL-B很可能跟不上。】 解决问题 数据如何不被丢失 备份 读写分离 数据库负载均衡 高可用 服务器准备 192.168.110.177主服务器master 192.168.110.178从服务器slave 修改主(master)服务器 vi/etc/https://www.wendangku.net/doc/f913165333.html,f新增以下内容 server_id=177###服务器id log-bin=mysql-bin###开启日志文件

MySQL丢数据及主从数据不一致的场景-lunique

MySQL丢数据及主从数据不一致的场景 1.相关知识点： innodb_flush_log_at_trx_commit innodb_flush_log_at_timeout sync_binlog relay log、relay log info、master info： master-info-repository relay-log-info-repository sync_relay_log sync_master_info sync_relay_log_info 原文地址：https://www.wendangku.net/doc/f913165333.html,/25704976/viewspace-1318714/ 随着对MySQL的学习，发现了MySQL的很多问题，最重要的就是丢数据的问题。对于丢数据问题，我们应该了解丢数据的场景，这样在以后的学习中多考虑如何去避免及解决这些问题。 2.MySQL数据库层丢数据场景 本节我们主要介绍一下在存储引擎层上是如何会丢数据的。 2.1.InnoDB丢数据 InnoDB支持事务，同Oracle类似，事务提交需要写redo、undo。采用日志先行的策略，将数据的变更在内存中完成，并且将事务记录成redo，顺序的写入redo日志中，即表示该事务已经完成，就可以返回给客户已提交的信息。但是实际上被更改的数据还在内存中，并没有刷新到磁盘，即还没有落地，当达到一定的条件，会触发checkpoint，将内存中的数据（page）合并写入到磁盘，这样就减少了离散写、IOPS，提高性能。 在这个过程中，如果服务器宕机了，内存中的数据丢失，当重启后，会通过redo日志进行recovery重做。确保不会丢失数据。因此只要redo能够实时的写入到磁盘，InnoDB 就不会丢数据。 先来看一下innodb_flush_log_at_trx_commit这个参数： = 0 ：每秒 write cache & flush disk