海量資源，盡在掌握

當前位置：首頁 > IT技術 > 其他 > 正文

ETL異構數據源Datax_日期增量同步_13
2022-09-06 22:35:50

文章目錄

??一、全量同步??

??1. 增量同步SQL??
??2. 構建reader??
??3. 構建writer??
??4. 字段對應關系映射??
??5. 構建json??
??6. 選擇同步模板??
??7. 查詢最早時間??
??8. 修改任務信息??
??9. 添加增量參數??
??10. 數據清理??
??11. 執行任務??
??12. 查看執行日期??
??13. 數據驗證??
??15. 查看同步腳本??

??二、基于日期增量同步??

??2.1. 新增新數據??
??2.2. 執行數據同步??
??2.3. 查看日志??
??2.4. 查看數據庫??
??2.5. 日期選取??

一、全量同步

聲明：
以增量方式數據同步，第一次是全量同步，從第二次同步開始以第一次同步完成后的時間為開始時間，進行增量同步！
注：咱們添加項目、添加任務模板先用以前的，直接任務構建

1. 增量同步SQL

select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where dt > to_date(${lastTime},'yyyy-mm-dd hh24:mi:ss') and dt <= to_date(${currentTime},'yyyy-mm-dd hh24:mi:ss')

2. 構建reader

構建reader，填寫增量同步SQL

ETL異構數據源Datax_日期增量同步_13_增量日期同步

3. 構建writer

ETL異構數據源Datax_日期增量同步_13_數據_02

4. 字段對應關系映射

ETL異構數據源Datax_日期增量同步_13_數據同步_03

5. 構建json

ETL異構數據源Datax_日期增量同步_13_增量日期同步_04

6. 選擇同步模板

基礎模板，可以在執行同步前進行任務信息的修改

ETL異構數據源Datax_日期增量同步_13_數據同步_05

ETL異構數據源Datax_日期增量同步_13_數據同步_06

刷新頁面

7. 查詢最早時間

查詢同步數據的最早時間和最晚時間，等會會以最早時間為開始時間進行同步

ETL異構數據源Datax_日期增量同步_13_字符串_07

ETL異構數據源Datax_日期增量同步_13_數據同步_08

8. 修改任務信息

ETL異構數據源Datax_日期增量同步_13_數據_09

9. 添加增量參數

ETL異構數據源Datax_日期增量同步_13_數據_10

-DlastTime='%s' -DcurrentTime='%s'

ETL異構數據源Datax_日期增量同步_13_數據_11

10. 數據清理

清空mysql數據庫otbs1表的數據

ETL異構數據源Datax_日期增量同步_13_增量日期同步_12

11. 執行任務

ETL異構數據源Datax_日期增量同步_13_字符串_13

12. 查看執行日期

ETL異構數據源Datax_日期增量同步_13_數據同步_14

如果不顯示就刷新頁面

ETL異構數據源Datax_日期增量同步_13_數據同步_15

ETL異構數據源Datax_日期增量同步_13_數據同步_16

13. 數據驗證

ETL異構數據源Datax_日期增量同步_13_增量日期同步_17

15. 查看同步腳本

存量同步完成之后，查看同步腳本

ETL異構數據源Datax_日期增量同步_13_數據_18

ETL異構數據源Datax_日期增量同步_13_字符串_19

從圖中可以看出，以增量形式同步全量第一次完成后，開始時間自動變更成了當前時間，以后增量同步，就會一當前時間作為開始時間繼續增量同步！

二、基于日期增量同步

查詢數據庫目前idno最大值

ETL異構數據源Datax_日期增量同步_13_字符串_20

1048577

2.1. 新增新數據

新增3條數據

insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048578', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048579', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048580', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');

ETL異構數據源Datax_日期增量同步_13_數據同步_21

插入后再次查詢idno最大值

ETL異構數據源Datax_日期增量同步_13_增量日期同步_22

1048580，在以前基礎上堵了3條數據。

2.2. 執行數據同步

如果，這次增量同步的數量為3條，就說明是增量數據同步對吧

ETL異構數據源Datax_日期增量同步_13_字符串_23

2.3. 查看日志

ETL異構數據源Datax_日期增量同步_13_數據同步_24

ETL異構數據源Datax_日期增量同步_13_數據_25

ETL異構數據源Datax_日期增量同步_13_增量日期同步_26

從同步日志可以看出，只同步了3條數據

2.4. 查看數據庫

多了3條數據

ETL異構數據源Datax_日期增量同步_13_數據同步_27

2.5. 日期選取

找一個關鍵的業務日期

本文摘自：https://blog.51cto.com/g

開通會員，享受整站包年服務

推薦內容

国产呦精品一区二区三区网站|久久www免费人咸|精品无码人妻一区二区|久99久热只有精品国产15|中文字幕亚洲无线码