Compartilhamento de tecnologia

Primeiros passos com dataX

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Baixar dadosX

https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz

Então

Após o download, descompacte-o em um diretório local, entre no diretório bin e execute o trabalho de sincronização:

$ cd  {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}

É necessário que você tenha python, jdk1.8 e maven3

A primeira etapa é criar o arquivo de configuração do trabalho (formato json)

Tipo de modelo:

#stream2stream.json
{
"trabalho": {
"contente": [
      {
"leitor": {
"nome": "streamreader",
"parâmetro": {
"sliceRecordCount": 10,
"coluna": [
              {
"tipo": "longo",
"valor": "10"
              },
              {
"tipo": "string",
"valor": "olá, olá, mundo-DataX"
              }
            ]
          }
        },
"escritor": {
"nome": "streamwriter",
"parâmetro": {
"codificação": "UTF-8",
"imprimir": verdadeiro
          }
        }
      }
    ],
"contexto": {
"velocidade": {
"canal": 5
       }
    }
  }
}

comece

$ cd {SEU_DIÁRIO_DE_DADOS_DE_IMPOSTOS_DE_DADOS}
$ python datax.py ./stream2stream.json

No lado esquerdo do github, qual leitor ou escritor você deseja usar?

Basta acessar o recurso atual e usar o json que ele forneceu.

Não importa se você não consegue abrir o github, existem modelos nos plugins na pasta que você baixou.

muito simples.

exemplo

exemplos de leitura e escrita mysql

  1. {"job": {"content": [{"reader": {"name": "mysqlreader", "parameter": {"username": "root","password": "123123","column": ["*"],"splitPk": "ID","where": "ID <= 1888","connection": [{"jdbcUrl": ["jdbc:mysql://192.168.1.1:3306/xxx?useUnicode=true&characterEncoding=utf8"], "table": ["t_member"]}]}}, "writer": {"name": "mysqlwriter", "parameter": {"column": ["*"], "connection": [{"jdbcUrl": "jdbc:mysql://192.168.1.2:3306/xxx?useUnicode=true&characterEncoding=utf8","table": ["t_xxx"]}], "password": "123123","preSql": ["执行写入前执行的语句,比如删除表啊,之类的"], "session": ["set session sql_mode='ANSI'"], "username": "root", "writeMode": "insert"}}}], "setting": {"speed": {"channel": "5"}}}
  2. }