ETL異構數據源Datax_自增ID增量同步_12
2022-09-06 22:48:59

文章目錄

增量同步方法
1.先同步存量數據
2.再同步增量數據（根據自增ID、日期條件）
前提條件:
1.只針對數據增長,如果老數據被update/delete則無法使用增量同步方式。
基于主鍵自增ID增量同步

Oracle同步Mysql演示

idno采用序列自增

添加項目

AutoIncrID-Project

添加模板

構建reader，添加增量同步SQL

select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where idno > ${startId} and idno <= ${endId}

說明：
采用的是左開右閉 同步原則:
大于0小于等于當前最大max(idno)（0,1048576]
左閉右閉和左閉右開 都存在數據缺失和重復數據的現象！

構建writer

編輯任務

修改任務名稱

輔助參數選擇主鍵自增

-DstartId='%s' -DendId='%s'

# 表名
otbs1

#主鍵

清理數據

將Mysql數據庫中的otbs1數據清空

執行一次

查看實時日志，任務尚未執行完成，需要手動點擊【刷新日志】

Mysql最大的idno是1048576

上面是第一次同步存量數據，下一次同步應該是大于1048576小于 最大的idno，如果單獨使用datax需要自己設置，datax-web幫我們做了這個事情。

刷新頁面，點擊編輯

在Oracle數據中的otbs1表中添加一條數據，這是同步應該是同步(1048576,max(idno)]簡言之(1048576,1048577]，同步數量為1條，對吧！

插入數據

-- 初始化數據
insert into OTBS1 (IDNO,COL1, COL2, COL3, DT, COL5,COL6, COL7,COL8, COL9, COL10)
Values (1048577,'字符串1', 1, 1696248667889, sysdate,3.141592653578,'字符串2','字符串3','字符串4','字符串5','字符串6');