某股份制商業銀行全量數據存儲查詢分析案例

 

項目背景

該銀行成立于1992年，是經國務院批復并經中國人民銀行批準設立的全國性股份制商業銀行，已在境內設立分支機構 1252 家，機構網點輻射全國136個經濟中心城市;
目前，該銀行已經匯集了近30年的歷史數據，但是核心業務系統只能提供短則幾個月的客戶歷史交易明細，且單次查詢時間段跨度不能超過一年;
一年前的交易數據以光盤庫、磁帶庫等形式存放，導致查詢效率低查詢成本高。

 

解決方案

• 采用Hubble分布式數據存儲的方案，搭建高性能、可擴展的實時數倉。
• 將過往存儲在不同的介質上的結構化、半結構化和非結構化數據數據導入Hubble數據庫的TP庫，通過SQL語句實現數據編碼格式轉換、字段分隔符、校驗等清洗及加工，通過AP庫為查詢分析系統提供查詢服務。
• 通過優化+索引的數據字段定義格式存儲，提升查詢速度。
• 流處理方式將在業務系統數據進行實時同步。
• 定制開發可通過前端界面查詢的分析系統，提升業務處理能力。
• 提供全量數據在線備份，保證數據完整性。提供完整的數據入庫流程檢查，后續如果出現數據問題輕松查明產生原因。同時，為了應對銀行的主備集群災備策略，提供增量數據備份功能。

 

項目成果

• 該項目實現了該銀行全量積累的近40億筆交易數據在線實時、異步長時間跨度的查詢功能；
• 實時查詢交平均響應時在200毫秒左右，異步查詢交易平均完成時間在1分鐘左右；
• 定制開發的查詢分析系統，能同時實現對公活期定期歷史交易明細查詢、內部帳歷史交易明細查詢等十余種大批量查詢；
• 采用分布式架構，解決海量數據在線服務問題，穩定性提高至原來的300%、處理效率提高了1186%；
• 本項目不僅實現了該銀行業務目標，同時也助力該銀行獲得了同年度中國金融行業最佳創新項目獎。