需求背景
隨著互聯網時代的到來，人們足不出戶用手機就可以在手機銀行中辦理各種業務，便捷的網上交易使得銀行系統中積累的數據量越來越大，為了保證核心數據存儲系統能正常工作，該銀行無法實時查詢交易五年以上的歷史數據，需要預約等待查詢。如遇到公安辦案、監管部門查交易明細等緊急重要的情況下，無法滿足實時查詢的需求，會出現影響辦案的時效性等問題，歷史數據查詢難度日益增加。
銀行數據存貯現狀
銀行核心系統可能發生過變更，所以數據格式可能不統一
銀行數據服務現狀
銀行目前未提供“歷史數據查詢”在線服務，核心是以下兩個原因：
IT系統技術瓶頸
- IOE架構下，核心系統做大規模歷史數據存取，會直線拉低性能，影響業務辦理；
- 做了批處理的系統，無法支撐大規模并發需求和查詢服務的實時響應；
- 通過HBase+es等實現的一些場景，在大數據規模下，成本高昂且無法支撐并發；
- 批處理的系統，無法直接對接柜面系統、網銀、手機APP、微信等常用電子渠道。
成本
- 目前銀行核心系統多使用Oracle、DB2等國外軟硬件產品，系統運營維護成本就很高；
- 若提供全量歷史數據查詢，成本不可小覷。
現有解決方案
天云數據解決方案
天云數據歷史數據查詢系統是一個支持高并發、全渠道、多維度的7*24小時實時歷史數據查詢系統。擁有自主設計的獨立底層Hubble數據庫，所有數據單獨存儲，安全高效且具有海量數據存儲能力，可以極大地提高歷史數據查詢效率，高效完成日常業務，推動銀行等金融企業走向歷史數據規范化、國產化的管理。
方案價值和效果
?
方案價值
可實現查詢效果
方案優勢
?
成熟的客戶案例，光大銀行從2013年開始對接柜臺，目前已經對接包括手機APP、網銀、微信等多個終端，平穩運行多年。
在金融行業中有眾多案例，非常了解金融行業業務場景。
專注技術研發，所獲專利、軟著百余項
發明專利
- 一種基于VLAD雙重自適應的圖像檢索方法
- 一種基于新聞文本的話題提取方法
- 一種金融文本情感分析方法
- 基于機器學習的灌溉方法和裝置
- ......
數據庫和人工智能產品均完成主流國產芯片及操作系統兼容性互認證
強大的服務團隊
支撐支持 7 * 24小時服務
實踐案例
某股份制商業銀行全量數據存儲查詢分析案例
項目背景
- 該銀行成立于1992年，是經國務院批復并經中國人民銀行批準設立的全國性股份制商業銀行，已在境內設立分支機構?1252?家，機構網點輻射全國136個經濟中心城市；
- 目前，該銀行已經匯集了近30年的歷史數據，但是核心業務系統只能提供短則幾個月的客戶歷史交易明細，且單次查詢時間段跨度不能超過一年；
- 一年前的交易數據以光盤庫、磁帶庫等形式存放，導致查詢效率低查詢成本高。
?
解決方案
- 采用Hubble分布式數據存儲的方案，搭建高性能、可擴展的實時數倉。
- 將過往存儲在不同的介質上的歷史數據數據導入Hubble數據庫，通過SQL語句實現數據編碼格式轉換、字段分隔符、校驗等清洗及加工，提供在線查詢服務。
- 通過優化+索引的數據字段定義格式存儲，提升查詢速度。
- 定制開發可通過前端界面查詢的分析系統，提升業務處理能力。
- 提供全量數據在線備份，保證數據完整性。提供完整的數據入庫流程檢查，后續如果出現數據問題輕松查明產生原因。同時，為了應對銀行的主備集群災備策略，提供增量數據備份功能。
?
項目結果
- 近400億筆交易數據、千億級內部帳在線實時、異步長時間跨度的查詢功能；
- 定制開發十余種大批量查詢分析系統；
- 助力該銀行獲得了同年度中國金融行業最佳創新項目獎。
?
實時查詢交易200ms
實時查詢交易平均響應時在200毫秒左右
異步查詢交易1分鐘
異步查詢交易平均完成時間在1分鐘左右
穩定性提高300%
處理效率提高1186%