mysql資料庫雙向同步

① 如何實現MySQL上億條數據的同步mysql上億數據同步

如何實現MySQL上億條數據的同步？
在現代技術中，數據同步是非常常見的任務。特別是在企業和互聯網領域，需要對上億條數據進行同步。在此過程中，MySQL作為最常用的資料庫之一，扮演了重要角色。本文將介紹如何使用現代技術實現MySQL上億條數據的同步。
I. MySQL數據同步方案
MySQL數據同步被廣泛應用於數據遷移、數據備份和數據冗餘。目前，MySQL數據同步方案可以分為以下幾種：
1. 基於主從復制模式的數據同步方案
主從復制模式是最常用的MySQL數據同步方案之一。在主從復制模式中，主庫負責寫入數據，從庫復制主庫中的數據。主庫產生的數據更改會被復制到從庫中，從而實現了數據同步。
2. 基於多主復制模式的數據同步方案
多主復制模式允許多個資料庫實例作為主庫，而從資料庫實例將多個主庫的更改同步到從庫中。多主復制模式可以提高並發性和可用性，在高並發和低延遲的情況下，可以完成上億條數據的同步。
3. 基於Galera Cluster的數據同步方案
Galera Cluster是一個典型的同步復制高可用性MySQL方案。在Galera Cluster中，多個資料庫實例相互同步，每個節點都是活動節點，可以隨時訪問和更新數據。
II. 數據同步工具選擇
1. MySQL Replication
MySQL Replication是最受歡迎的數據同步工具之一。它基於MySQL主從復制，可以在資料庫之間復制數據，並保持數據一致性。
2. SymmetricDS
SymmetricDS是一個開源的數據同步工具，它支持MySQL、PostgreSQL、SQL Server等多種資料庫類型。SymmetricDS支持多種數據同步方案，例如單向同步、雙向同步、過濾同步等。
3. Tungsten Replicator
Tungsten Replicator是一個高性能的數據同步工具，支持MySQL、Oracle、PostgreSQL等多種資料庫類型。Tungsten Replicator具有高性能、高可用性和高靈活性，可以根據需求進行數據同步。
III. 數據同步優化
在進行MySQL數據同步時，需要注意以下幾個問題：
1. 優化網路帶寬
網路帶寬是影響數據同步速度的重要因素。在進行MySQL數據同步時，需要優化網路帶寬，以提高數據同步效率。
2. 合理設置參數
在使用MySQL Replication、SymmetricDS和Tungsten Replicator等數據同步工具時，需要根據實際需求，合理設置參數。
3. 負載均衡
數據同步時，需要進行負載均衡，以提高數據同步的效率。
例如：使用LVS等負載均衡工具，可以將數據分散到多個伺服器上，從而提高數據同步速度。
IV. 總結
MySQL數據同步是一項重要的任務，可以用於數據遷移、數據備份和數據冗餘。在進行MySQL數據同步時，需要選擇合適的資料庫同步方案和數據同步工具，並進行數據同步優化，以提高數據同步效率。本文介紹了MySQL主從復制、多主復制和Galera Cluster等數據同步方案，以及MySQL Replication、SymmetricDS和Tungsten Replicator等數據同步工具。

② 配置mysql主從 資料庫怎麼同步過來

主從資料庫同步 可以參考如下：
一、 概述
MySQL從3.23.15版本以後提供資料庫復制（replication）功能，利用該功能可以實現兩個資料庫同步、主從模式、互相備份模式的功能。本文檔主要闡述了如何在linux系統中利用mysql的replication進行雙機熱備的配置。
二、 環境
操作系統：Linux 2.6.23.1-42.fc8 # SMP（不安裝XEN）
Mysql版本：5.0.45-4.fc8
設備環境：PC（或者虛擬機）兩台
三、 配置
資料庫同步復制功能的設置都在MySQL的配置文件中體現，MySQL的配置文件（一般是my.cnf）：在本環境下為/etc/my.cnf。
3.1 設置環境：
IP的設置：
A主機 IP：10.10.0.119
Mask：255.255.0.0
B主機 IP：10.10.8.112
Mask：255.255.0.0
在IP設置完成以後，需要確定兩主機的防火牆確實已經關閉。可以使用命令service iptables status查看防火牆狀態。如果防火牆狀態為仍在運行。使用service iptables stop來停用防火牆。如果想啟動關閉防火牆，可以使用setup命令來禁用或定製。
最終以兩台主機可以相互ping通為佳。
3.2 配置A主(master) B從(slave)模式
3.2.1 配置A 為master
、增加一個用戶同步使用的帳號：
GRANT FILE ON *.* TO 『backup』@'10.10.8.112' IDENTIFIED BY 『1234』;
GRANTREPLICATION SLAVE ON *.* TO 『backup』@'10.10.8.112' IDENTIFIED BY 『1234』;
賦予10.10.8.112也就是Slave機器有File許可權，只賦予Slave機器有File許可權還不行，還要給它REPLICATION SLAVE的許可權才可以。
、增加一個資料庫作為同步資料庫：
create database test;
、創建一個表結構：
create table mytest (username varchar(20),password varchar(20));
、修改配置文件：
修改A的/etc/my.cnf文件，在my.cnf配置項中加入下面配置：
server-id = 1 #Server標識
log-bin
binlog-do-db=test #指定需要日誌的資料庫
、重起資料庫服務：
service mysqld restart
查看server-id：
show variable like 『server_id』；
實例：
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 1 |
+---------------+-------+
1 row in set (0.00 sec)
、用show master status/G命令看日誌情況。
正常為：
mysql> show master status/G
*************************** 1. row ***************************
File: mysqld-bin.000002
Position: 198
Binlog_Do_DB: test,test
Binlog_Ignore_DB:
1 row in set (0.08 sec)
3.2.2 配置B 為slave
、增加一個資料庫作為同步資料庫：
create database test;
、創建一個表結構：
create table mytest (username varchar(20),password varchar(20));
、修改配置文件：
修改B的/etc/my.cnf文件，在my.cnf配置項中加入下面配置：
server-id=2
master-host=10.10. 0.119
master-user=backup #同步用戶帳號
master-password=1234
master-port=3306
master-connect-retry=60 #預設重試間隔秒
replicate-do-db=test #告訴slave只做backup資料庫的更新
、重起資料庫服務：
service mysqld restart
查看server-id：
show variables like 『server_id』；
實例：
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 2 |
+---------------+-------+
1 row in set (0.00 sec)
、用show slave status/G命令看日誌情況。
正常為：
mysql> show slave status/G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.10.0.119
Master_User: backup
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysqld-bin.000001
Read_Master_Log_Pos: 98
Relay_Log_File: mysqld-relay-bin.000003
Relay_Log_Pos: 236
Relay_Master_Log_File: mysqld-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB: test,test
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 98
Relay_Log_Space: 236
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
1 row in set (0.01 sec)
3.2.3 驗證配置
分別使用insert, delete , update在A主機進行增刪改查資料庫；查看B主機的資料庫是否與A主機一致；若一致，則配置成功。
3.3雙機互備模式
如果在A主機加入slave設置，在B主機加入master設置，則可以做B->A的同步。
、在A主機的配置文件中 mysqld配置項加入以下設置：
master-host=10.10.8.112
master-user=backup
master-password=1234
replicate-do-db=test
master-connect-retry=10
、在B的配置文件中 mysqld配置項加入以下設置：
log-bin
binlog-do-db=test
注意：當有錯誤產生時，*.err日誌文件同步的線程退出，當糾正錯誤後，要讓同步機制進行工作，運行slave start。
重起A、B機器，則可以實現雙向的熱備份。
四、 常見問題及解決
、Slave機器的許可權問題，不但要給slave機器File許可權，還要給它REPLICATION SLAVE的許可權。
、在修改完Slave機器/etc/my.cnf之後，slave機器的mysql服務啟動之前，記得要刪除掉master.info
、在show master status或著show slave status不正常時，看看.err是怎樣說的。
、Slave上Mysql的Replication工作有兩個線程, I/O thread和SQL thread。I/O的作用是從master 3306埠上把它的binlog取過來(master在被修改了任何內容之後,就會把修改了什麼寫到自己的binlog等待slave更新),然後寫到本地的relay-log,而SQL thread則是去讀本地的relay-log,再把它轉換成本Mysql所能理解的語句，於是同步就這樣一步一步的完成.決定I/O thread的是/var/lib/mysql/master.info,而決定SQL thread的是/var/lib/mysql/relay-log.info.
、啟動slave，命令用start slave；重新啟動用restart slave

③ 五大常見的MySQL高可用方案

五大常見的MySQL高可用方案如下：

1. 主從或主主半同步復制

• 概述：使用雙節點資料庫，搭建單向或者雙向的半同步復制。在MySQL 5.7及以後的版本中，由於引入了lossless replication、logical多線程復制等新特性，使得MySQL原生半同步復制更加可靠。
• 架構：通常會和proxy、keepalived等第三方軟體同時使用，用於監控資料庫的健康狀態並執行管理命令。
• 優點：

  架構簡單，使用原生半同步復製作為數據同步的依據。

  雙節點，沒有主機宕機後的選主問題，直接切換即可。

  需求資源少，部署簡單。

• 缺點：

  完全依賴於半同步復制，如果半同步復制退化為非同步復制，數據一致性無法得到保證。

  需要額外考慮haproxy、keepalived等的高可用機制。

以上五大方案各有優缺點，選擇時需根據具體業務需求、資源限制和技術團隊能力進行綜合考慮。