Hubble數(shù)據(jù)庫x某股份制商業(yè)銀行：一款混布數(shù)據(jù)庫的“交易+分析”提速之路

數(shù)據(jù)庫是基礎(chǔ)軟件皇冠上的明珠，是每一家公司業(yè)務(wù)系統(tǒng)的核心。

互聯(lián)網(wǎng)的發(fā)展催生數(shù)據(jù)庫技術(shù)變化日新月異。

近年來，混布數(shù)據(jù)庫在銀行承載了很大使命：一方面，滿足海量數(shù)據(jù)強(qiáng)交易場景；另一方面，權(quán)益類服務(wù)也和其他服務(wù)一樣，需要計(jì)時(shí)實(shí)時(shí)處理。

日前，某股份制商業(yè)銀行發(fā)布“大數(shù)據(jù)平臺(tái)HTAP集群優(yōu)化項(xiàng)目”，天云數(shù)據(jù)國產(chǎn)自研的混布Hubble數(shù)據(jù)庫中標(biāo)。

 

01國產(chǎn)自研的混布數(shù)據(jù)庫為該股份制商業(yè)銀行銀行提供什么服務(wù)？

細(xì)數(shù)下來，今年是天云數(shù)據(jù)為該股份制商業(yè)銀行提供服務(wù)的第三個(gè)年頭。

在這三年里，天云數(shù)據(jù)Hubble數(shù)據(jù)庫先后為其提供了貸中實(shí)時(shí)監(jiān)控反欺詐、實(shí)時(shí)監(jiān)控人工審查的優(yōu)化、實(shí)時(shí)存款余額、指標(biāo)管理平臺(tái)功能優(yōu)化等服務(wù)。

該銀行大數(shù)據(jù)平臺(tái)建設(shè)之初，主要側(cè)重為離線計(jì)算任務(wù)提供算力，隨著銀行業(yè)務(wù)的迭代發(fā)展，各業(yè)務(wù)線均在推動(dòng)精細(xì)化分級(jí)管理的過程中對(duì)系統(tǒng)聯(lián)動(dòng)管控的快速響應(yīng)提出了更高要求。

同時(shí)隨著近年來業(yè)務(wù)量的不斷增長，部分傳統(tǒng)應(yīng)用系統(tǒng)架構(gòu)（如PRM實(shí)時(shí)監(jiān)控業(yè)務(wù)）在面對(duì)大數(shù)據(jù)量的場景下無法持續(xù)滿足業(yè)務(wù)流程迭代。該銀行迫切需要提升客戶體驗(yàn)及同業(yè)競爭力。
Hubble數(shù)據(jù)庫提供服務(wù)后：

實(shí)時(shí)反欺詐：實(shí)現(xiàn)了每天千萬級(jí)交易數(shù)據(jù)數(shù)據(jù)實(shí)時(shí)并發(fā)入庫；接近100個(gè)復(fù)雜欺詐規(guī)則分析，毫秒返回分析結(jié)果。

實(shí)時(shí)監(jiān)控人工審查的優(yōu)化：復(fù)雜類查詢平均響應(yīng)時(shí)間為100ms內(nèi)，數(shù)據(jù)實(shí)時(shí)接入平均耗時(shí)3.12ms。

實(shí)時(shí)存款余額查詢功能：對(duì)一般復(fù)雜的查詢，百毫秒級(jí)的查詢響應(yīng)。

這次中標(biāo)“大數(shù)據(jù)平臺(tái)HTAP集群優(yōu)化項(xiàng)目”，Hubble數(shù)據(jù)庫將增加實(shí)時(shí)數(shù)倉和實(shí)時(shí)特征工程服務(wù)。
實(shí)時(shí)數(shù)倉建設(shè)：本次實(shí)時(shí)數(shù)倉建設(shè)的主要原因是對(duì)于數(shù)據(jù)的實(shí)時(shí)性越來越迫切，需要有實(shí)時(shí)數(shù)據(jù)來輔助完成決策。從智能商業(yè)的角度來講，數(shù)據(jù)的結(jié)果代表了用戶的反饋，獲取結(jié)果的及時(shí)性就顯得尤為重要，Hubble數(shù)據(jù)庫將助力該銀行快速的獲取數(shù)據(jù)反饋、更快的做出決策。
實(shí)時(shí)特征工程：數(shù)據(jù)特征會(huì)直接影響我們模型的預(yù)測性能。我們知道原始數(shù)據(jù)無法直接進(jìn)行模型訓(xùn)練，而在金融行業(yè)實(shí)時(shí)風(fēng)險(xiǎn)決策、實(shí)時(shí)反欺詐等面臨著算法模型實(shí)時(shí)計(jì)算的問題，會(huì)面臨著如何進(jìn)行特征實(shí)時(shí)加工的問題。事實(shí)上，得到的實(shí)驗(yàn)結(jié)果取決于你選擇的模型、獲取的數(shù)據(jù)以及使用的特征。Hubble數(shù)據(jù)庫需基于業(yè)務(wù)場景需求選擇兩種入庫方式：對(duì)于維度表或ODS域數(shù)據(jù)，通過kafka+實(shí)時(shí)入庫工具直接入庫；對(duì)于整合域數(shù)據(jù)，因?yàn)樾枰獔?zhí)行流數(shù)據(jù)的計(jì)算或轉(zhuǎn)換，故通過kafka+flink方式入庫。
Hubble數(shù)據(jù)庫通過將全局事務(wù)向本地事務(wù)鎖進(jìn)行轉(zhuǎn)換，保證系統(tǒng)的分布式計(jì)算一致性；通過資源控制模塊，使TP與AP的結(jié)合使用。
一款混布數(shù)據(jù)庫，實(shí)現(xiàn)銀行“交易+分析”的提速之路。

 

02為什么Hubble數(shù)據(jù)庫能提供這些服務(wù)？

互聯(lián)網(wǎng)興起后，應(yīng)用程序需要每秒支持?jǐn)?shù)十萬甚至數(shù)百萬個(gè)事務(wù)，每個(gè)事務(wù)的處理延遲以毫秒為單位。

互聯(lián)網(wǎng)帶來的是是迅猛的數(shù)據(jù)資源爆發(fā)。

數(shù)據(jù)是流通的副產(chǎn)品，最早的屬性是交易數(shù)據(jù)。互聯(lián)網(wǎng)驅(qū)動(dòng)行為數(shù)據(jù)的爆發(fā)，行為數(shù)據(jù)需要靠高并發(fā)、高擴(kuò)展、更松耦合的高服務(wù)能力來支撐完成。傳統(tǒng)數(shù)據(jù)庫難以支撐。

在技術(shù)新世界里面，我們很少看到Google宕機(jī)，因?yàn)樗皇强扛呖捎眯詠肀ＷC，而是靠整個(gè)服務(wù)的容錯(cuò)。

行為數(shù)據(jù)中誕生了新的架構(gòu)，催生分布式架構(gòu)。能夠統(tǒng)一支撐事物處理和工具負(fù)載分析的數(shù)據(jù)庫成為必須剛需。

Hubble數(shù)據(jù)庫之所以能實(shí)現(xiàn)是在設(shè)計(jì)之初就考慮了向上兼容性以及場景的復(fù)用，以抽象存儲(chǔ)層、抽象計(jì)算層、抽象資源管理作為基礎(chǔ)支撐，通過Hubble AP、TP的混合存儲(chǔ)以及混合計(jì)算引擎，來支撐上層邏輯計(jì)劃成為了可能。

我們知道，業(yè)務(wù)場景分為兩種模式，面向聯(lián)機(jī)事務(wù)交易(OLTP)和面向聯(lián)機(jī)分析(OLAP)。

不管是關(guān)系型數(shù)據(jù)庫還是圖數(shù)據(jù)庫都可以分為上面的兩層業(yè)務(wù)邏輯。

如果TP、AP業(yè)務(wù)在場景上是統(tǒng)一的，那么數(shù)據(jù)存儲(chǔ)上就可以向上做兼容，滿足同樣的場景。

03天云數(shù)據(jù)：數(shù)字原生一站式服務(wù)平臺(tái)

當(dāng)數(shù)據(jù)成為生產(chǎn)資料，AI成為生產(chǎn)工具，AI的產(chǎn)業(yè)化落地成為生產(chǎn)邏輯之時(shí)，數(shù)字經(jīng)濟(jì)時(shí)代已經(jīng)全面展開。

但與此同時(shí)，支撐智能時(shí)代的基礎(chǔ)設(shè)施技術(shù)需要升級(jí)跨越。當(dāng)數(shù)據(jù)成為生產(chǎn)資料，智能成為新的生產(chǎn)力，人工智能原生數(shù)據(jù)庫即AI-Native數(shù)據(jù)庫將更好地放大一切商業(yè)模式，成為各行各業(yè)的基礎(chǔ)設(shè)施。

天云數(shù)據(jù)Hubble數(shù)據(jù)庫未來計(jì)劃通過邏輯計(jì)劃融合SQL、Graph、ML等實(shí)現(xiàn)AI-Native數(shù)據(jù)庫，重新定義數(shù)據(jù)基礎(chǔ)設(shè)施。

但將人工智能真正轉(zhuǎn)變成現(xiàn)實(shí)的生產(chǎn)力，離不開認(rèn)知智能的轉(zhuǎn)化應(yīng)用。

人工智能“感知層”技術(shù)應(yīng)用已經(jīng)普及在人們的日常生活，比如手機(jī)上的語音識(shí)別、人臉識(shí)別、機(jī)器翻譯等。

而認(rèn)知智能，涉及語義理解、知識(shí)表達(dá)、聯(lián)想推理、智能問答、自主學(xué)習(xí)等，可以像人的大腦一樣對(duì)外部的信息進(jìn)行加工、理解，對(duì)知識(shí)進(jìn)行推理，進(jìn)而使機(jī)器理解外部世界。認(rèn)知智能的發(fā)展將使大量繁瑣且重要的工作變得更加高效精準(zhǔn)。

Forrester作為全球領(lǐng)先的獨(dú)立研究咨詢公司之，致力于‘啟發(fā)思考，引領(lǐng)變革’。在其魔力象限圖上，將天云數(shù)據(jù)作為人工智能“認(rèn)知層”第一象限公司與“感知層”企業(yè)并駕齊驅(qū)。

在數(shù)字經(jīng)濟(jì)下，我們消費(fèi)的數(shù)據(jù)也反哺給了我們，產(chǎn)銷合一，數(shù)據(jù)的消費(fèi)者即生產(chǎn)者。
天云數(shù)據(jù)AI產(chǎn)業(yè)化落地，核心價(jià)值體現(xiàn)可以用一個(gè)判別式來形容即Y=f(x)。

唯有基礎(chǔ)設(shè)施足夠強(qiáng)大，唯有實(shí)現(xiàn)從“工具”到“能力”的蛻變，才能支撐起新的經(jīng)濟(jì)帝國。