Hubble數據庫x某股份制商業銀行：一款混布數據庫的“交易+分析”提速之路

數據庫是基礎軟件皇冠上的明珠，是每一家公司業務系統的核心。

互聯網的發展催生數據庫技術變化日新月異。

近年來，混布數據庫在銀行承載了很大使命：一方面，滿足海量數據強交易場景；另一方面，權益類服務也和其他服務一樣，需要計時實時處理。

日前，某股份制商業銀行發布“大數據平臺HTAP集群優化項目”，天云數據國產自研的混布Hubble數據庫中標。

 

01國產自研的混布數據庫為該股份制商業銀行銀行提供什么服務？

細數下來，今年是天云數據為該股份制商業銀行提供服務的第三個年頭。

在這三年里，天云數據Hubble數據庫先后為其提供了貸中實時監控反欺詐、實時監控人工審查的優化、實時存款余額、指標管理平臺功能優化等服務。

該銀行大數據平臺建設之初，主要側重為離線計算任務提供算力，隨著銀行業務的迭代發展，各業務線均在推動精細化分級管理的過程中對系統聯動管控的快速響應提出了更高要求。

同時隨著近年來業務量的不斷增長，部分傳統應用系統架構（如PRM實時監控業務）在面對大數據量的場景下無法持續滿足業務流程迭代。該銀行迫切需要提升客戶體驗及同業競爭力。
Hubble數據庫提供服務后：

實時反欺詐：實現了每天千萬級交易數據數據實時并發入庫；接近100個復雜欺詐規則分析，毫秒返回分析結果。

實時監控人工審查的優化：復雜類查詢平均響應時間為100ms內，數據實時接入平均耗時3.12ms。

實時存款余額查詢功能：對一般復雜的查詢，百毫秒級的查詢響應。

這次中標“大數據平臺HTAP集群優化項目”，Hubble數據庫將增加實時數倉和實時特征工程服務。
實時數倉建設：本次實時數倉建設的主要原因是對于數據的實時性越來越迫切，需要有實時數據來輔助完成決策。從智能商業的角度來講，數據的結果代表了用戶的反饋，獲取結果的及時性就顯得尤為重要，Hubble數據庫將助力該銀行快速的獲取數據反饋、更快的做出決策。
實時特征工程：數據特征會直接影響我們模型的預測性能。我們知道原始數據無法直接進行模型訓練，而在金融行業實時風險決策、實時反欺詐等面臨著算法模型實時計算的問題，會面臨著如何進行特征實時加工的問題。事實上，得到的實驗結果取決于你選擇的模型、獲取的數據以及使用的特征。Hubble數據庫需基于業務場景需求選擇兩種入庫方式：對于維度表或ODS域數據，通過kafka+實時入庫工具直接入庫；對于整合域數據，因為需要執行流數據的計算或轉換，故通過kafka+flink方式入庫。
Hubble數據庫通過將全局事務向本地事務鎖進行轉換，保證系統的分布式計算一致性；通過資源控制模塊，使TP與AP的結合使用。
一款混布數據庫，實現銀行“交易+分析”的提速之路。

 

02為什么Hubble數據庫能提供這些服務？

互聯網興起后，應用程序需要每秒支持數十萬甚至數百萬個事務，每個事務的處理延遲以毫秒為單位。

互聯網帶來的是是迅猛的數據資源爆發。

數據是流通的副產品，最早的屬性是交易數據。互聯網驅動行為數據的爆發，行為數據需要靠高并發、高擴展、更松耦合的高服務能力來支撐完成。傳統數據庫難以支撐。

在技術新世界里面，我們很少看到Google宕機，因為它不是靠高可用性來保證，而是靠整個服務的容錯。

行為數據中誕生了新的架構，催生分布式架構。能夠統一支撐事物處理和工具負載分析的數據庫成為必須剛需。

Hubble數據庫之所以能實現是在設計之初就考慮了向上兼容性以及場景的復用，以抽象存儲層、抽象計算層、抽象資源管理作為基礎支撐，通過Hubble AP、TP的混合存儲以及混合計算引擎，來支撐上層邏輯計劃成為了可能。

我們知道，業務場景分為兩種模式，面向聯機事務交易(OLTP)和面向聯機分析(OLAP)。

不管是關系型數據庫還是圖數據庫都可以分為上面的兩層業務邏輯。

如果TP、AP業務在場景上是統一的，那么數據存儲上就可以向上做兼容，滿足同樣的場景。

03天云數據：數字原生一站式服務平臺

當數據成為生產資料，AI成為生產工具，AI的產業化落地成為生產邏輯之時，數字經濟時代已經全面展開。

但與此同時，支撐智能時代的基礎設施技術需要升級跨越。當數據成為生產資料，智能成為新的生產力，人工智能原生數據庫即AI-Native數據庫將更好地放大一切商業模式，成為各行各業的基礎設施。

天云數據Hubble數據庫未來計劃通過邏輯計劃融合SQL、Graph、ML等實現AI-Native數據庫，重新定義數據基礎設施。

但將人工智能真正轉變成現實的生產力，離不開認知智能的轉化應用。

人工智能“感知層”技術應用已經普及在人們的日常生活，比如手機上的語音識別、人臉識別、機器翻譯等。

而認知智能，涉及語義理解、知識表達、聯想推理、智能問答、自主學習等，可以像人的大腦一樣對外部的信息進行加工、理解，對知識進行推理，進而使機器理解外部世界。認知智能的發展將使大量繁瑣且重要的工作變得更加高效精準。

Forrester作為全球領先的獨立研究咨詢公司之，致力于‘啟發思考，引領變革’。在其魔力象限圖上，將天云數據作為人工智能“認知層”第一象限公司與“感知層”企業并駕齊驅。

在數字經濟下，我們消費的數據也反哺給了我們，產銷合一，數據的消費者即生產者。
天云數據AI產業化落地，核心價值體現可以用一個判別式來形容即Y=f(x)。

唯有基礎設施足夠強大，唯有實現從“工具”到“能力”的蛻變，才能支撐起新的經濟帝國。