datax的安装和使用（windows）

2021-03-15 18:50

阅读：441

标签：tin rlimit user lib nbsp use show bsp 查找

　　github官方文档和项目：https://github.com/alibaba/DataX

　　下载后在windows环境下是可以直接用python编译执行的，但从github上下载的版本只支持python2.x版本，而现在python3.x正流行，这给我们带来不少麻烦。

　　在查找资料后我找到了解决办法：

　　datax 支持Python3需要修改替换datax/bin下面的三个python文件，替换文件地址：https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3
技术图片
　　替换掉datax/bin下面这三个文件

　　替换完成后，亲测可以使用，我的python是3.8.1版本。

　　接下来我完成了datax的一个简单的入门测试，根据开头给出的github网址，找到官方文档

　　技术图片

　　根据官方文档选择需要数据库和数据源的读写实例，配置job.json文件。

　　在操作之前需要在navicat中建立两个表，table1和table2，字段如图：

　　技术图片

　　我想要测试一下mysql表之间的数据传输，参照mysql读写文档，配置了如下job.json:

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "table1"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://localhost/datax?characterEncoding=utf8"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "table2"
                                ],
                                "jdbcUrl": "jdbc:mysql://localhost/datax?characterEncoding=utf8"
                            }
                        ]
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1,
                "byte": 104857600
            },
            "errorLimit": {
                "record": 10,
                "percentage": 0.05
            }
        }
    }
}