技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

データXをダウンロード

https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz

それから

ダウンロード後、ローカル ディレクトリに解凍し、bin ディレクトリに入り、同期ジョブを実行します。

$ cd  {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}

Python、jdk1.8、maven3 が必要です。

最初のステップは、ジョブ構成ファイル (json 形式) を作成することです。

テンプレートの種類:

#stream2stream.json
{
"仕事"： {
"コンテンツ"： [
      {
"読者"： {
"名前": "ストリームリーダー",
「パラメータ」: {
"スライスレコード数": 10,
"カラム"： [
              {
"タイプ": "long",
"値": "10"
              },
              {
"タイプ": "文字列",
"値": "こんにちは、こんにちは、world-DataX"
              }
            ]
          }
        },
「ライター」: {
"名前": "ストリームライター",
「パラメータ」: {
「エンコーディング」: 「UTF-8」、
「印刷」: 真
          }
        }
      }
    ],
「設定」: {
"スピード"： {
「チャンネル」: 5
       }
    }
  }
}

起動する

$ cd {YOUR_DATAX_DIR_BIN}
$ python datax.py ./stream2stream.json

github の左側で、どのリーダーまたはライターを使用しますか?

現在のリソースに移動し、彼が提供した json を使用するだけです。

Github が開けなくても、ダウンロードしたフォルダー内のプラグインにテンプレートが入っているので大丈夫です。

とてもシンプルです。

例

mysqlの読み取りと書き込みの例

 
{"job": {"content": [{"reader": {"name": "mysqlreader", "parameter": {"username": "root","password": "123123","column": ["*"],"splitPk": "ID","where": "ID <= 1888","connection": [{"jdbcUrl": ["jdbc:mysql://192.168.1.1:3306/xxx?useUnicode=true&characterEncoding=utf8"], "table": ["t_member"]}]}}, "writer": {"name": "mysqlwriter", "parameter": {"column": ["*"], "connection": [{"jdbcUrl": "jdbc:mysql://192.168.1.2:3306/xxx?useUnicode=true&characterEncoding=utf8","table": ["t_xxx"]}], "password": "123123","preSql": ["执行写入前执行的语句，比如删除表啊，之类的"], "session": ["set session sql_mode='ANSI'"], "username": "root", "writeMode": "insert"}}}], "setting": {"speed": {"channel": "5"}}}
}