某股份制商業(yè)銀行全量數(shù)據(jù)存儲查詢分析案例

 

項目背景

該銀行成立于1992年，是經(jīng)國務院批復并經(jīng)中國人民銀行批準設(shè)立的全國性股份制商業(yè)銀行，已在境內(nèi)設(shè)立分支機構(gòu) 1252 家，機構(gòu)網(wǎng)點輻射全國136個經(jīng)濟中心城市;
目前，該銀行已經(jīng)匯集了近30年的歷史數(shù)據(jù)，但是核心業(yè)務系統(tǒng)只能提供短則幾個月的客戶歷史交易明細，且單次查詢時間段跨度不能超過一年;
一年前的交易數(shù)據(jù)以光盤庫、磁帶庫等形式存放，導致查詢效率低查詢成本高。

 

解決方案

• 采用Hubble分布式數(shù)據(jù)存儲的方案，搭建高性能、可擴展的實時數(shù)倉。
• 將過往存儲在不同的介質(zhì)上的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)導入Hubble數(shù)據(jù)庫的TP庫，通過SQL語句實現(xiàn)數(shù)據(jù)編碼格式轉(zhuǎn)換、字段分隔符、校驗等清洗及加工，通過AP庫為查詢分析系統(tǒng)提供查詢服務。
• 通過優(yōu)化+索引的數(shù)據(jù)字段定義格式存儲，提升查詢速度。
• 流處理方式將在業(yè)務系統(tǒng)數(shù)據(jù)進行實時同步。
• 定制開發(fā)可通過前端界面查詢的分析系統(tǒng)，提升業(yè)務處理能力。
• 提供全量數(shù)據(jù)在線備份，保證數(shù)據(jù)完整性。提供完整的數(shù)據(jù)入庫流程檢查，后續(xù)如果出現(xiàn)數(shù)據(jù)問題輕松查明產(chǎn)生原因。同時，為了應對銀行的主備集群災備策略，提供增量數(shù)據(jù)備份功能。

 

項目成果

• 該項目實現(xiàn)了該銀行全量積累的近40億筆交易數(shù)據(jù)在線實時、異步長時間跨度的查詢功能；
• 實時查詢交平均響應時在200毫秒左右，異步查詢交易平均完成時間在1分鐘左右；
• 定制開發(fā)的查詢分析系統(tǒng)，能同時實現(xiàn)對公活期定期歷史交易明細查詢、內(nèi)部帳歷史交易明細查詢等十余種大批量查詢；
• 采用分布式架構(gòu)，解決海量數(shù)據(jù)在線服務問題，穩(wěn)定性提高至原來的300%、處理效率提高了1186%；
• 本項目不僅實現(xiàn)了該銀行業(yè)務目標，同時也助力該銀行獲得了同年度中國金融行業(yè)最佳創(chuàng)新項目獎。