A representation of the key architectural components for InfoSphere CDC.

數據同步的實時應用

用戶的需求越來越高及更有挑戰性,不少客戶希望營運的系統(ERP, CRM, POS等)數據能夠即時在其他地方作分析或應用。

可能有人會提出這個問題可以利用API或Message Queue去解決,但這些都要求一些編寫程式的功夫。今天很多客戶要求數據分析要即時性,在此我們願意分享一下一些抽取數據轉換Change Data Capture (CDC)的實時應用案例。

試舉一個例子,有一家世界企業五百強的保險企業,希望應用一些存放在AS400上保險核心系統的數據。這是很難讓其他程式直接連接她們的核心系統。再者,放數據由AS400拷貝至另一個數據庫作為實時監控、數據分析、跟政府監管機構分享數據,運用CDC也是較為合適的。利用這類系統的話,她們希望最多只有五分鐘的滯後。

置於IBM Data Replication (CDC) 數據抄寫方案,主要是讀取數據時從數據庫讀取日志來把系統資源運作減至最低。這將會把數據的變動在目的地資料庫以接近實時的情況下如實反映。有很多實例,就算用上兩個點對點的VPN連接,很多時候在生產環境下的都只有30-40秒鐘的滯後。同一時間,市面上還有很多數據抄寫工具,竟然還需要數據庫管理員去人手準備一套觸發(triggers)來讓那個程式讀取數據轉換再而執行其改動。這絕對是系統資源的一個負擔。

值得一提,有很多不同的意外事件可以在數據抄寫時發生。為了避免數據丟失,數據抄寫(IBM Data Replication)容許一些從IBM SDK開發程式去重新接駁連線,而相關的工具是完全免費的。至此,您可能會問不懂得編程怎麼辦?不用怕,供應商提供了大量即時可用的模板作為參考之用。

在香港的市場,我們的團隊是第一家公司有能力和經驗把AS400內的數據,拷貝到雲端的IBM DB2 Warehouse,而這個案正是世界上其中一家最大的服裝生產企業的實例。再者,我們有更多應用在一家世界企業500強的例子。同時,我們在應用上的經驗,還有亞太地區其他保險及物流公司。

數據抄寫的方案,可以接駁的數據源及目的地,不單是流行的資料庫,如IBM DB2、Oracle、SQL Server、Sybase等,更可以連接大數據像Apache Hadoop。

如果需要一些度身訂造的實時數據方案,可以預約免費咨詢去跟我們找出最適合閣下的方案。