據(jù)logo200×100-01.png)
和IT時(shí)代對(duì)比，DT時(shí)代有哪些重要變化？需要什么技術(shù)能力支撐？
現(xiàn)在的一些開源框架，通過工程化的手段能夠被市場接受了。把TP和AP做融合，成為湖倉一體的概念；然后把MPP數(shù)據(jù)庫與湖倉一體融合，成為新技術(shù)趨勢。實(shí)際上就是將MPP數(shù)據(jù)庫加Hadoop開源。
這種現(xiàn)象會(huì)帶來什么風(fēng)險(xiǎn)？MPP數(shù)據(jù)庫不能單獨(dú)支持湖倉一體，它需要 Hbase和ES來配合，本質(zhì)還是屬于數(shù)據(jù)集。在某大型股份制銀行，為了支持手機(jī)銀行端的個(gè)性化數(shù)倉，實(shí)現(xiàn)手機(jī)端對(duì)大屏小屏化的趨勢，傳統(tǒng)MPP結(jié)構(gòu)根本沒法滿足剛才說的這種服務(wù)價(jià)值，還要配套數(shù)百個(gè)節(jié)點(diǎn)，所以現(xiàn)在市場上湖倉一體的本質(zhì)還是一個(gè)集成方案，需要在傳統(tǒng)MPP數(shù)據(jù)庫和開源Hadoop之間做大量的數(shù)據(jù)同步和一致性校驗(yàn)。既然要有數(shù)據(jù)同步，就必然有時(shí)間窗口、數(shù)據(jù)的不及時(shí)性、不一致性。
所以第一個(gè)變化，就是數(shù)據(jù)新鮮度的變化。我們在使用什么時(shí)間的數(shù)據(jù)，是在消費(fèi)以天、小時(shí)級(jí)、分鐘級(jí)、秒級(jí)還是百毫秒級(jí)的數(shù)據(jù)？HTAP現(xiàn)在作為一種主流的技術(shù)框架，已經(jīng)開始進(jìn)入到核心數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的前端，支撐我們消費(fèi)最新鮮的數(shù)據(jù)。我們怎么用數(shù)據(jù)，流的形式跟庫發(fā)生關(guān)系HTAP就是Hybrid Transaction and Analytical Process就是混合負(fù)載架構(gòu)。
此外，我們在面前誰提供數(shù)據(jù)服務(wù)？這個(gè)問題是非常關(guān)鍵。
我們以前在數(shù)據(jù)消費(fèi)的時(shí)候更多的都是在數(shù)據(jù)倉庫里完成。數(shù)據(jù)倉庫是OLAP分析型業(yè)務(wù)，通過侵占更多的資源來完成一個(gè)大IO操作。所以MPP數(shù)據(jù)庫有一個(gè)很大的挑戰(zhàn)就是它不能夠支持高并發(fā)，它的作業(yè)是排隊(duì)機(jī)制。當(dāng)遇到個(gè)性化服務(wù)下沉?xí)r，它就碰到了一個(gè)瓶頸。
市場提出了一個(gè)新概念Lakehouse（湖倉一體），就是把數(shù)據(jù)倉庫處理結(jié)果再同步到一個(gè)大數(shù)據(jù)平臺(tái)，比較受歡迎的方式就是MPP再加上Hbase。我曾經(jīng)看到一個(gè)國產(chǎn)化項(xiàng)目，真的把MPP數(shù)據(jù)庫給替代了。但是面向1億多用戶的小屏服務(wù)的時(shí)，它不得已還要同步到一個(gè)大規(guī)模的Hbase里頭，Hbase來支撐MPP數(shù)據(jù)庫的個(gè)性化的駕駛艙與提交，又變回開源且復(fù)雜的工程。就這個(gè)項(xiàng)目大概300多個(gè)節(jié)點(diǎn)Hbase、600多個(gè)運(yùn)維開發(fā)人員，每年的運(yùn)維費(fèi)用、開發(fā)服務(wù)費(fèi)用大概3個(gè)多億的人力成本。
所以用產(chǎn)品級(jí)基礎(chǔ)設(shè)施架構(gòu)去替代開源工程和大規(guī)模人力外包服務(wù)是一個(gè)很典型的一個(gè)技術(shù)平臺(tái)趨勢。無疑又是HTAP混布型數(shù)據(jù)庫，可以支撐替代MPP加Hbase這個(gè)結(jié)構(gòu)來實(shí)現(xiàn)服務(wù)下沉。
所以第二個(gè)變化，我們面向誰在提供數(shù)據(jù)服務(wù)？互聯(lián)網(wǎng)的數(shù)據(jù)產(chǎn)銷合一方式帶動(dòng)了流程驅(qū)動(dòng)向數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)庫架構(gòu)轉(zhuǎn)型，數(shù)據(jù)從服務(wù)決策者轉(zhuǎn)向服務(wù)一線人員，HTAP系統(tǒng)才能保障每個(gè)人都能實(shí)時(shí)看到同樣高質(zhì)量的數(shù)據(jù)。
因此，新一代硬核基礎(chǔ)設(shè)施必須是HTAP數(shù)據(jù)庫。
新一代數(shù)字基礎(chǔ)設(shè)施必須是立足當(dāng)下且面向未來與此同時(shí)必須堅(jiān)持自研道路
很久以來，國產(chǎn)基礎(chǔ)軟件都停留在被“卡脖子”的印象里。軟件再好，但若是都使用美國的軟件開發(fā)工具開發(fā)，則意味著無法徹底擺脫美國的制裁風(fēng)險(xiǎn)。國內(nèi)軟件廠商在核心技術(shù)被壟斷的情況下，想要實(shí)現(xiàn)彎道超車十分困難。但是，軟件行業(yè)為各行業(yè)全方位賦能的過程中，高速增長加快創(chuàng)新，逐步追趕、甚至局部超越國際一流水平。天云數(shù)據(jù)，在沒有行業(yè)經(jīng)驗(yàn)可借鑒的情況下，潛心耕耘另辟蹊徑布局國產(chǎn)自研數(shù)據(jù)庫，輸出近四百萬行自研Go語言代碼。自主研發(fā)的Hubble數(shù)據(jù)庫產(chǎn)品經(jīng)過中國軟件測評(píng)中心評(píng)測源代碼系統(tǒng)自主研發(fā)率99.62%，面向基礎(chǔ)設(shè)施而生。
