Condivisione della tecnologia

Iniziare con dataX

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

ScaricadataX

Italiano: Italiano: https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz

Poi

Dopo il download, decomprimilo in una directory locale, inserisci la directory bin ed esegui il processo di sincronizzazione:

$ cd  {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}

È necessario disporre di Python, jdk1.8 e maven3

Il primo passo è creare il file di configurazione del lavoro (formato json)

Tipo di modello:

#stream2stream.json
{
"lavoro": {
"contenuto": [
      {
"lettore": {
"nome": "lettore di stream",
"parametro": {
"conteggio record fette": 10,
"colonna": [
              {
"tipo": "lungo",
"valore": "10"
              },
              {
"tipo": "stringa",
"valore": "ciao, ciao, world-DataX"
              }
            ]
          }
        },
"scrittore": {
"nome": "streamwriter",
"parametro": {
"codifica": "UTF-8",
"stampa": vero
          }
        }
      }
    ],
"collocamento": {
"velocità": {
"canale": 5
       }
    }
  }
}

avviare

$ cd {IL_TUO_DIR_BIN_DATAX}
Il file python datax.py ./stream2stream.json

Sul lato sinistro di github, quale lettore o scrittore vuoi utilizzare?

Vai alla risorsa corrente e usa il json che ha fornito.

Non importa se non riesci ad aprire Github, ci sono dei modelli nei plugin nella cartella che hai scaricato.

molto semplice.

esempio

esempi di lettura e scrittura di mysql

  1. {"job": {"content": [{"reader": {"name": "mysqlreader", "parameter": {"username": "root","password": "123123","column": ["*"],"splitPk": "ID","where": "ID <= 1888","connection": [{"jdbcUrl": ["jdbc:mysql://192.168.1.1:3306/xxx?useUnicode=true&characterEncoding=utf8"], "table": ["t_member"]}]}}, "writer": {"name": "mysqlwriter", "parameter": {"column": ["*"], "connection": [{"jdbcUrl": "jdbc:mysql://192.168.1.2:3306/xxx?useUnicode=true&characterEncoding=utf8","table": ["t_xxx"]}], "password": "123123","preSql": ["执行写入前执行的语句,比如删除表啊,之类的"], "session": ["set session sql_mode='ANSI'"], "username": "root", "writeMode": "insert"}}}], "setting": {"speed": {"channel": "5"}}}
  2. }