导航:首页 > 编程语言 > java实现dts

java实现dts

发布时间:2025-10-02 04:37:34

⑴ 怎么往mysql中插入实时数据

前提条件

您需要在您RDS for MySQL所在的云账号下开通阿里云数据传输服务。并 点击此处

下载dts-ads-writer插件到您的一台服务器上并解压(需要该服务器可以访问互联网,建议使用阿里云ECS以最大限度保障可用性)。服务器上需要有Java

6或以上的运行环境(JRE/JDK)。

操作步骤

1. 在分析型数据库上创建目标表,数据更新类型为实时写入,字段名称和MySQL中的建议均相同;

2. 在阿里云数据传输的控制台上创建数据订阅通道,并记录这个通道的ID;

(见: https://help.aliyun.com/document_detail/dts/Getting-Started/data-subscription.html),

3. 配置dts-ads-writer/app.conf文件,配置方式如下:

所有配置均保存在app.conf中,运行前请保证配置正确;修改配置后,请重启writer

基本配置:

{
"dtsAccessId":"",//拥有数据订阅通道的云账号的accessId,必须配置
"dtsAccessKey":"",//拥有数据订阅通道的云账号的accessKey,必须配置
"dtsTunnelId":"",//数据订阅通道的id,必须配置;注意是id,不是通道名称
"adsUserName":"",//访问您的分析型数据库的用户名(accessId),必须配置
"adsPassword":"",//访问您的分析型数据库的密码(accessKey),必须配置
"adsJdbcUrl":"",//访问分析型数据库的jdbc连接串,必须配置(格式jdbc:mysql://ip:port/dbname)
"tables":[
{
"source":{
"primaryKeys":[""]//主键定义,必须配置;注意RDS和分析型数据库中的主键定义必须一致
"db":"",//源头RDS的db名称,必须配置
"table":"",//源头RDS的table名称,必须配置
"skipColumns":["col1"]//可选,若在此配置了RDS表某列名,则该列不会同步
},
"target":{
"table":""//分析型数据库表的table名称,必须配置
},
"columnMapping":{
"":""//rds表和ads表的列对应关系:key为rds的列名,value为分析型数据库的列名,选填,不填则按照列名一一对应
}
}
]
}

tables节点的配置示例,
表示rds_db库下的rds_table表对应ads_table表,并且rds_table表的col1列对应ads_table表的col1_ads列,
rds_table表的col2列对应ads_table表的col2_ads列
"tables":[
{
"source":{
"primaryKeys":[
"col1",
"col2"
],
"db":"rds_db",
"table":"rds_table"
},
"target":{
"table":"ads_table"
},
"columnMapping":{
"col1":"col1_ads",
"col2":"col2_ads"
}
}
]

注意事项:

1)RDS for MySQL表和分析型数据库中表的主键定义必须完全一致;如果不一致会出现数据不一致问题。如果需要调整RDS/分析型数据库表的主键,建议先停止writer进程;

2)一个插件进程中分析型数据库db只能是一个,由adsJdbcUrl指定;

3)一个插件进程只能对应一个数据订阅通道;如果更新通道中的订阅对象时,需要重启进程

4)RDS for MySQL中DDL操作不做同步处理;

5)更新app.conf需要重启插件进程才能生效;

6)如果工具出现bug或某种其它原因需要重新同步历史数据,只能回溯最近24小时的数据(在阿里云数据传输的控制台中修改消费位点);

7)插件的最大同步性能与运行插件的服务器的互联网带宽和磁盘IOPS成正比。

4. 运行dts-ads-writer/bin/startup.sh(sh bin/startup.sh);

5. 配置监控程序监控进程存活和日志中的常见错误码。

logs目录下的日志中的异常信息均以ErrorCode=XXXX ErrorMessage=XXXX形式给出,可以进行监控

阅读全文

与java实现dts相关的资料

热点内容
网络中常用的传输介质 浏览:518
文件如何使用 浏览:322
同步推密码找回 浏览:865
乐高怎么才能用电脑编程序 浏览:65
本机qq文件为什么找不到 浏览:264
安卓qq空间免升级 浏览:490
linux如何删除模块驱动程序 浏览:193
at89c51c程序 浏览:329
怎么创建word大纲文件 浏览:622
袅袅朗诵文件生成器 浏览:626
1054件文件是多少gb 浏览:371
高州禁养区内能养猪多少头的文件 浏览:927
win8ico文件 浏览:949
仁和数控怎么编程 浏览:381
项目文件夹图片 浏览:87
怎么在东芝电视安装app 浏览:954
plc显示数字怎么编程 浏览:439
如何辨别假网站 浏览:711
宽带用别人的账号密码 浏览:556
新app如何占有市场 浏览:42

友情链接