天云大數(shù)據(jù)的SQL引擎提供了一個(gè)統(tǒng)一數(shù)據(jù)分析接口。通過(guò)提供一個(gè)跨多個(gè)數(shù)據(jù)存儲(chǔ)的單一視圖來(lái)實(shí)現(xiàn)數(shù)據(jù)分析任務(wù)切分。SQL引擎可以對(duì)hive、spark等不支持的SQL進(jìn)行轉(zhuǎn)換,增強(qiáng)SQL支持。
天云大數(shù)據(jù)的SQL引擎提供了一個(gè)統(tǒng)一數(shù)據(jù)分析接口。通過(guò)提供一個(gè)跨多個(gè)數(shù)據(jù)存儲(chǔ)的單一視圖來(lái)實(shí)現(xiàn)數(shù)據(jù)分析任務(wù)切分。SQL引擎可以對(duì)hive、spark等不支持的SQL進(jìn)行轉(zhuǎn)換,增強(qiáng)SQL支持。對(duì)外提供JDBC等多種接口,已有業(yè)務(wù)可以方便的遷移。提供了元數(shù)據(jù)支持抽象視圖層。是一個(gè)介于業(yè)務(wù)與底層服務(wù)之間的JDBC服務(wù)中間件。天云大數(shù)據(jù)SQL引擎支持TPC-DS所有的99個(gè)SQL。
運(yùn)用了hive的元數(shù)據(jù)存儲(chǔ),為加入到SQL引擎的數(shù)據(jù)服務(wù),提供抽象視圖,用戶通過(guò)統(tǒng)一的入口可以看到所有的數(shù)據(jù)定義。通過(guò)SQL執(zhí)行查詢和分析,在數(shù)據(jù)服務(wù)層提供插件支持,擴(kuò)張多種底層數(shù)據(jù)服務(wù)。
總體架構(gòu)圖
功能特性詳述
??元數(shù)據(jù)層為數(shù)據(jù)存儲(chǔ)提供抽象視圖層;
??可以使用SQL 的來(lái)查詢和分析存放在不同數(shù)據(jù)服務(wù)中的數(shù)據(jù);
??提供JDBC 驅(qū)動(dòng)和JAVA客戶端等多種接口;
??SQL引擎是一個(gè) REST 服務(wù)允許用戶查詢數(shù)據(jù),更改數(shù)據(jù)模型,調(diào)度查詢;
??易于擴(kuò)張的插件接口,可以方便的擴(kuò)張多種存儲(chǔ)。
提供JDBC接口,大量已有業(yè)務(wù)可以在少改動(dòng)的情況下就可以方便的遷移。提供插件擴(kuò)張方便的擴(kuò)張,用戶可以根據(jù)的需要寫少量的代碼就可以加入新的數(shù)據(jù)服務(wù)。對(duì)底層多個(gè)數(shù)據(jù)服務(wù)提供統(tǒng)一視圖,方便多個(gè)數(shù)據(jù)服務(wù)的統(tǒng)一管理。
SQL引擎是在HDFS、hbase等數(shù)據(jù)服務(wù)至上,所以SQL引擎支持TB、PB級(jí)的數(shù)據(jù)。SQL引擎是一個(gè)中間件當(dāng)hive、spark等升級(jí)時(shí)上層幾乎不用改動(dòng)就可以順利升級(jí)。已有的分析業(yè)務(wù)服務(wù)幾乎不用改動(dòng)就可以方便的遷移。