mysql数据库双向同步

① 如何实现MySQL上亿条数据的同步mysql上亿数据同步

如何实现MySQL上亿条数据的同步？
在现代技术中，数据同步是非常常见的任务。特别是在企业和互联网领域，需要对上亿条数据进行同步。在此过程中，MySQL作为最常用的数据库之一，扮演了重要角色。本文将介绍如何使用现代技术实现MySQL上亿条数据的同步。
I. MySQL数据同步方案
MySQL数据同步被广泛应用于数据迁移、数据备份和数据冗余。目前，MySQL数据同步方案可以分为以下几种：
1. 基于主从复制模式的数据同步方案
主从复制模式是最常用的MySQL数据同步方案之一。在主从复制模式中，主库负责写入数据，从库复制主库中的数据。主库产生的数据更改会被复制到从库中，从而实现了数据同步。
2. 基于多主复制模式的数据同步方案
多主复制模式允许多个数据库实例作为主库，而从数据库实例将多个主库的更改同步到从库中。多主复制模式可以提高并发性和可用性，在高并发和低延迟的情况下，可以完成上亿条数据的同步。
3. 基于Galera Cluster的数据同步方案
Galera Cluster是一个典型的同步复制高可用性MySQL方案。在Galera Cluster中，多个数据库实例相互同步，每个节点都是活动节点，可以随时访问和更新数据。
II. 数据同步工具选择
1. MySQL Replication
MySQL Replication是最受欢迎的数据同步工具之一。它基于MySQL主从复制，可以在数据库之间复制数据，并保持数据一致性。
2. SymmetricDS
SymmetricDS是一个开源的数据同步工具，它支持MySQL、PostgreSQL、SQL Server等多种数据库类型。SymmetricDS支持多种数据同步方案，例如单向同步、双向同步、过滤同步等。
3. Tungsten Replicator
Tungsten Replicator是一个高性能的数据同步工具，支持MySQL、Oracle、PostgreSQL等多种数据库类型。Tungsten Replicator具有高性能、高可用性和高灵活性，可以根据需求进行数据同步。
III. 数据同步优化
在进行MySQL数据同步时，需要注意以下几个问题：
1. 优化网络带宽
网络带宽是影响数据同步速度的重要因素。在进行MySQL数据同步时，需要优化网络带宽，以提高数据同步效率。
2. 合理设置参数
在使用MySQL Replication、SymmetricDS和Tungsten Replicator等数据同步工具时，需要根据实际需求，合理设置参数。
3. 负载均衡
数据同步时，需要进行负载均衡，以提高数据同步的效率。
例如：使用LVS等负载均衡工具，可以将数据分散到多个服务器上，从而提高数据同步速度。
IV. 总结
MySQL数据同步是一项重要的任务，可以用于数据迁移、数据备份和数据冗余。在进行MySQL数据同步时，需要选择合适的数据库同步方案和数据同步工具，并进行数据同步优化，以提高数据同步效率。本文介绍了MySQL主从复制、多主复制和Galera Cluster等数据同步方案，以及MySQL Replication、SymmetricDS和Tungsten Replicator等数据同步工具。

② 配置mysql主从 数据库怎么同步过来

主从数据库同步 可以参考如下：
一、 概述
MySQL从3.23.15版本以后提供数据库复制（replication）功能，利用该功能可以实现两个数据库同步、主从模式、互相备份模式的功能。本文档主要阐述了如何在linux系统中利用mysql的replication进行双机热备的配置。
二、 环境
操作系统：Linux 2.6.23.1-42.fc8 # SMP（不安装XEN）
Mysql版本：5.0.45-4.fc8
设备环境：PC（或者虚拟机）两台
三、 配置
数据库同步复制功能的设置都在MySQL的配置文件中体现，MySQL的配置文件（一般是my.cnf）：在本环境下为/etc/my.cnf。
3.1 设置环境：
IP的设置：
A主机 IP：10.10.0.119
Mask：255.255.0.0
B主机 IP：10.10.8.112
Mask：255.255.0.0
在IP设置完成以后，需要确定两主机的防火墙确实已经关闭。可以使用命令service iptables status查看防火墙状态。如果防火墙状态为仍在运行。使用service iptables stop来停用防火墙。如果想启动关闭防火墙，可以使用setup命令来禁用或定制。
最终以两台主机可以相互ping通为佳。
3.2 配置A主(master) B从(slave)模式
3.2.1 配置A 为master
、增加一个用户同步使用的帐号：
GRANT FILE ON *.* TO ‘backup’@'10.10.8.112' IDENTIFIED BY ‘1234’;
GRANTREPLICATION SLAVE ON *.* TO ‘backup’@'10.10.8.112' IDENTIFIED BY ‘1234’;
赋予10.10.8.112也就是Slave机器有File权限，只赋予Slave机器有File权限还不行，还要给它REPLICATION SLAVE的权限才可以。
、增加一个数据库作为同步数据库：
create database test;
、创建一个表结构：
create table mytest (username varchar(20),password varchar(20));
、修改配置文件：
修改A的/etc/my.cnf文件，在my.cnf配置项中加入下面配置：
server-id = 1 #Server标识
log-bin
binlog-do-db=test #指定需要日志的数据库
、重起数据库服务：
service mysqld restart
查看server-id：
show variable like ‘server_id’；
实例：
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 1 |
+---------------+-------+
1 row in set (0.00 sec)
、用show master status/G命令看日志情况。
正常为：
mysql> show master status/G
*************************** 1. row ***************************
File: mysqld-bin.000002
Position: 198
Binlog_Do_DB: test,test
Binlog_Ignore_DB:
1 row in set (0.08 sec)
3.2.2 配置B 为slave
、增加一个数据库作为同步数据库：
create database test;
、创建一个表结构：
create table mytest (username varchar(20),password varchar(20));
、修改配置文件：
修改B的/etc/my.cnf文件，在my.cnf配置项中加入下面配置：
server-id=2
master-host=10.10. 0.119
master-user=backup #同步用户帐号
master-password=1234
master-port=3306
master-connect-retry=60 #预设重试间隔秒
replicate-do-db=test #告诉slave只做backup数据库的更新
、重起数据库服务：
service mysqld restart
查看server-id：
show variables like ‘server_id’；
实例：
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 2 |
+---------------+-------+
1 row in set (0.00 sec)
、用show slave status/G命令看日志情况。
正常为：
mysql> show slave status/G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.10.0.119
Master_User: backup
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysqld-bin.000001
Read_Master_Log_Pos: 98
Relay_Log_File: mysqld-relay-bin.000003
Relay_Log_Pos: 236
Relay_Master_Log_File: mysqld-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB: test,test
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 98
Relay_Log_Space: 236
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
1 row in set (0.01 sec)
3.2.3 验证配置
分别使用insert, delete , update在A主机进行增删改查数据库；查看B主机的数据库是否与A主机一致；若一致，则配置成功。
3.3双机互备模式
如果在A主机加入slave设置，在B主机加入master设置，则可以做B->A的同步。
、在A主机的配置文件中 mysqld配置项加入以下设置：
master-host=10.10.8.112
master-user=backup
master-password=1234
replicate-do-db=test
master-connect-retry=10
、在B的配置文件中 mysqld配置项加入以下设置：
log-bin
binlog-do-db=test
注意：当有错误产生时，*.err日志文件同步的线程退出，当纠正错误后，要让同步机制进行工作，运行slave start。
重起A、B机器，则可以实现双向的热备份。
四、 常见问题及解决
、Slave机器的权限问题，不但要给slave机器File权限，还要给它REPLICATION SLAVE的权限。
、在修改完Slave机器/etc/my.cnf之后，slave机器的mysql服务启动之前，记得要删除掉master.info
、在show master status或着show slave status不正常时，看看.err是怎样说的。
、Slave上Mysql的Replication工作有两个线程, I/O thread和SQL thread。I/O的作用是从master 3306端口上把它的binlog取过来(master在被修改了任何内容之后,就会把修改了什么写到自己的binlog等待slave更新),然后写到本地的relay-log,而SQL thread则是去读本地的relay-log,再把它转换成本Mysql所能理解的语句，于是同步就这样一步一步的完成.决定I/O thread的是/var/lib/mysql/master.info,而决定SQL thread的是/var/lib/mysql/relay-log.info.
、启动slave，命令用start slave；重新启动用restart slave

③ 五大常见的MySQL高可用方案

五大常见的MySQL高可用方案如下：

1. 主从或主主半同步复制

• 概述：使用双节点数据库，搭建单向或者双向的半同步复制。在MySQL 5.7及以后的版本中，由于引入了lossless replication、logical多线程复制等新特性，使得MySQL原生半同步复制更加可靠。
• 架构：通常会和proxy、keepalived等第三方软件同时使用，用于监控数据库的健康状态并执行管理命令。
• 优点：

  架构简单，使用原生半同步复制作为数据同步的依据。

  双节点，没有主机宕机后的选主问题，直接切换即可。

  需求资源少，部署简单。

• 缺点：

  完全依赖于半同步复制，如果半同步复制退化为异步复制，数据一致性无法得到保证。

  需要额外考虑haproxy、keepalived等的高可用机制。

以上五大方案各有优缺点，选择时需根据具体业务需求、资源限制和技术团队能力进行综合考虑。