世界滾動:初探ETLCloud CDC零代碼實現MySQL數據實時同步

  • 商洛在線
  • 2023-06-23 17:09:08
  • 來源：RestCloud

1. CDC實時數據同步的應用場景

CDC實時同步功能是現代數據倉庫技術中常見的一種數據同步技術，能夠實現實時交互、持續同步、高可用性和高性能的數據傳輸。

應用場景：

實時數據備份：將源系統的數據實時備份到目標數據系統中，確保數據的實時性和可靠性。


(資料圖片)

高效數據同步：保證源系統中數據變化及時地同步到目標數據系統中，減少數據同步延遲和數據丟失。

數據異構轉換：將不同數據系統之間的數據進行異構轉換，實現數據的互通和共享。

數據監管和審計：對數據的改動進行監管和審計，提高數據的安全性和合規性。

ETLCloud CDC 介紹

ETLCloud CDC是一款容安裝易使用的、零代碼的CDC實時數據同步工具，ETLCloud CDC具有以下功能特點：

零代碼：只需簡單配置，無需任何代碼即可完成CDC的配置和同步。

實時數據同步：將一個或多個源數據系統的數據實時傳輸到目標數據系統。

增量數據同步：高效的數據同步方式，可以只同步最新的更新內容，避免全部備份和傳輸。

數據源類型：ETLCloud CDC支持多種數據源類型的實時同步主要包含：MySQL、Sql Server、Oracle、PG、MQ等。

實時數據類型轉換：實時將原始數據轉換為目標端可以識別的格式，從而保證數據準確性和有效性。

DDL同步: 當源表的DDL發現變更時自動同步目標表的DDL。

斷點自動恢復：在傳送過程中發生異常時能自動從斷點位置重新傳送實時數據。

CDC+ETL一體化架構: 通過CDC實時數據流與ETL的結合實現對實時復雜數據的處理需求。

此外，ETLCloud CDC 還具備高可用性、靈活配置、數據安全加密、任務監控等功能，可滿足不同場景下企業級應用的要求。

安裝部署

3.1安裝ETLCloud CDC

步驟1：官網下載linux一鍵部署包，把一鍵部署包放到一個目錄下解壓并進入該目錄。

對腳本文件進行賦權

chmod +x restcloud_install.sh

執行腳本

./restcloud_install.sh

等待tomcat啟動，當出現這個界面，則restcloud證明啟動成功

步驟2：打開瀏覽器輸入{host}/restcloud/admin/login

輸入用戶名密碼: admin/pass

步驟3：登入系統后我們去官網申請sn碼

填寫好郵箱和對應的機器號，點擊驗證發送驗證郵件然后就會返回申請的序列號到所填寫的郵箱

將返回的序列號填好，點擊保存，刷新頁面進入到首頁

步驟4：填寫好序列號后, 需要執行下版本更新, 在平臺主頁選擇平臺監控 -> 一鍵備份升級,點擊版本更新按鈕，重啟Tomcat即可。

進入tomcat/bin目錄

cd /usr/tomcat/bin

//啟動tomcat并打印啟動日志

./startup.sh && tail -f ../logs/catalina.out

ETLCloud CDC實時庫表同步

步驟1： 啟用MySQL的CDC功能，需要在MySQL的my.cnf配置文件中設置相應的參數。

在配置文件中增加如下配置，開啟Binlog。

server-id = 123

log_bin = mysql-bin

binlog_format = row

binlog_row_image = full

expire_logs_days = 10

gtid_mode = on

enforce_gtid_consistency = on

修改完配置參數后重啟MySQL服務

步驟2： 創建數據監聽器

步驟3： 配置數據監聽器

在創建數據同步任務后，需要對同步任務進行配置。在這個過程中，您需要指定要同步的表以及數據傳輸模式。

步驟4： 啟動同步任務

完成同步任務的配置后，您需要啟動同步任務以開始實時同步數據。在ETLCloud中，可以通過單擊“啟動”按鈕來啟動同步任務。

步驟5： 監控同步任務

啟動數據同步任務后，可以通過監控面板統計圖來了解任務的運行狀態、同步量以及異常情況。

使用Navicat查看源表數據（restcloud.test）

使用Navicat查看目標表數據（test.test）

執行插入語句

監控面板統計圖

再次使用Navicat查看源表數據（restcloud.test）

目標表數據（test.test）

通過對比發現ETLCloud CDC實時同步功能成功使用。

ETLCloud CDC實時同步功能是一種高效、可靠的數據同步方案，它可以用于實現源數據庫和目標數據庫之間的實時同步，從而提高數據集成和應用開發的效率。

ETLCloud CDC社區免費版本下載地址：ETLCloud 全域數據集成平臺

標簽：

?

放水后遺癥：美企招人難在哪

相關推薦

三氯蔗糖是什么糖 三氯蔗糖對血糖有影響嗎？
聚焦 2023/04/23
松茸為什么不能水洗 松茸學名是什么？
聚焦 2023/04/23
北海是哪個省城市 北海有什么特色小吃？
聚焦 2023/04/23
魚缸用什么消毒殺菌好 魚缸定期殺菌用什么藥？
聚焦 2023/04/23
海水鹽度一般是多少 海水成分包括哪些？
聚焦 2023/04/23

熱門資訊 日 周 總

安徽省率先實現紅托竹蓀工廠化種植 助推食藥用菌產業錯位化高質量發展
健康 2022/09/05
中山首個“港澳藥械通”醫療器械獲批 目前國內尚無同類產品
健康 2022/08/29
遼寧省建立首批食品安全抽檢專家庫 化解食品安全風險隱患
健康 2022/08/19
2022太湖灣生命健康未來大會舉行 無錫推動生命健康產業發展躍級
健康 2022/08/08
62歲阿姨“捂出”熱射病被送進ICU 免疫力低下人群更要注意這些
健康 2022/07/21
暑期檔全國電影票房破75億 共有91部新片上映
節目 2022/08/16
廣東文藝院團積極尋求創作與市場全面“破圈” 激活高雅文藝演出“內循環”
節目 2022/08/02
馮小剛新劇時隔25年重回小熒幕 多個話題均已實現閱讀量破億
節目 2021/07/14
動畫站上7月影市“C位” 吸引多家公司掘金
節目 2021/07/06
人工智能等技術賦能 推動傳統戲曲文化與表演創新
節目 2021/07/02
我國短視頻領域市場規模為2051.3億元 同比增長57.5%
直播 2021/06/17
TFBOYS吸金力也不容小覷 峰峻文化能否順利運營還需一定的市場機遇
直播 2021/06/16
打造自營電商 “美團小店”加碼實物電商
直播 2021/06/08
發力企業采購領域 京東申請注冊京東工業商標
直播 2021/06/04
全國已有345個城市包裹實現“半日達”
直播 2021/06/02

推薦More

看誰收得多，比誰損失少！我省小麥機收減損活動掠影
欧美操逼视频_国产在线视频天天综合网_亚洲中文字字幕在线乱码_国产精品一级