本月，中國信息通信研究院第十三批數據庫產品基礎能力、性能和穩定性評審會結束。天云數據Hubble數據庫通過分布式分析型數據庫產品能力評測。今年六月，Hubble數據庫以優異的成績通過信通院分布式事務數據庫能力評測。
信通院是國內首個大數據產品評測體系，已成為大數據行業產品研發和用戶選型的重要參考。連續通過信通院分布式事務數據庫能力評測和分布式分析型數據庫產品能力評測，這無疑印證了Hubble數據庫的HTAP能力。
OLTP和OLAP分離的傳統解決方案可行嗎?
傳統的解決方案一般會形成應用、數據庫、分析平臺的三層結構，數據需要在這三層之間傳輸，尤其是最后這兩層之間的數據傳輸，數據量大、延遲高、產生數據冗余等等。尤其在分析任務有所變更的情況下，代價更大。
然而當今業務日趨爭分奪秒，無論是及時發現模式、標記核心程度、防止欺詐行為，還是可以高效地為使用者提供準確及時的推薦、進行交叉營銷和消費升級，都期待可以突破T+1日的桎梏，走向更加實時的響應。
為何要使用事務和分析處理一體的HTAP數據庫?
<在互聯網浪潮出現之前，企業的數據量普遍不大，特別是核心的業務數據，通常一個單機的數據庫就可以保存。
隨著互聯網的發展，企業的業務數據量不斷增多，單機數據庫的容量限制制約了其在海量數據場景下的使用。在實際應用中OLTP、OLAP 在技術上分道揚鑣，在很多企業架構中，這兩類任務處理由不同團隊完成。
當物聯網大數據應用不斷深入，催生面向數據分析的HTAP架構，如何能夠在一份數據上同時支撐OLTP運行和OLAP場景，避免在傳統架構中在線與離線數據庫之間大量的數據交互？因此，能夠統一支撐事物處理和工具負載分析的數據庫成為新需求。
要成為真正的事務數據庫(用于OLTP)，它應該支持ACID事務、并發性和很高的每秒查詢量(QPS)。如果事務包括數據庫更新，則必須做到實時更新。
而OLAP數據庫雖然具有計算大規模數據的批量計算的能力，但缺少將計算結果直接寫回數據源的能力，此外還要考慮導入分析結果寫回的時間成本，和相應的復雜流程造成了延遲。
極少有一款數據庫能同時滿足上述要求，這需要混合事務/分析處理(HTAP)是同一款數據庫。
目前，實現HTAP數據庫不多，堅持原創的天云數據是一家。
天云數據提供什么性能的HTAP數據庫?
在國內紛繁復雜的開源數據庫封裝市場中，天云數據Hubble 無疑是一支原創的清流。原創數據庫的開發重點在IO存儲、線程調度以及代價解析等核心棧上。天云數據依靠計算血緣優勢，以分布式NoSQL起步，直接跨越了物理計算資源的集群整合。
近些年，基于Raft分布式MVCC快照一致性等開放協議標準，原創開發重點開始轉向HTAP混布，從物理資源擴展的集群版DB再到OLTP/OLAP計算融合的混布版DB，這對原創技術提出了更大的挑戰。
如何能夠在同一數據庫實例下，同時支撐高并發低延遲的OLTP事務，和海量密集計算的OLAP分析作業？
天云數據憑借其多年來在大數據分布式計算領域的經驗以及多家大型銀行的實踐最終通過引入損失函數動態評價SQL邏輯計劃的執行成本、CBO代價優化解析、Sharding切片線程級別物理資源匹配不同計算負載、TP和AP雙引擎調度執行、隨機和序列化IO對存儲的訪問、依靠數據副本機制同時支持KV鍵值存儲和列存存儲交出了完美的答案。這意味著一張表可以同時支持行存和列存，真正的融合了存儲結構，避免了在交易和分析數據庫間每夜ETL數據搬家的繁瑣運維工作和數據冗余。
天云數據HTAP數據庫融合了Oracle交易和MPP數倉的數據庫替代升級，在新型大數據環境中扮演了越來越重要的角色。
- 借助優化便捷SQL服務替代ES+HBase方案，節省昂貴Hadoop開發成本;
- 高并發實時流升級，完成了Flink不能處理更多事實表的金融反欺詐和復雜權益服務;
- 比Impala更快的多表關聯AP計算，性能是 Impala 的231%倍；
- 比Presto更高可用的數據pipeline服務。
在開放的大數據生態中，Hubble完全可以作為計算組件與開源組件協同工作，嵌入并服務主流數據中臺環境。
天云Hubble數據庫在三家大型股份銀行、兩家互聯網銀行和多家城商行部署商用，替代Oracle支撐銀行核心A類交易系統56種交易; 在軍政公安領域支撐萬億記錄規模的多表關聯模糊查詢計算。
HTAP數據庫Hubble在某銀行的“交易+分析”提速之路
近年來，混布數據庫在銀行承載了很大使命：一方面，滿足海量數據強交易場景；另一方面，權益類服務也和其他服務一樣，需要計時實時處理。
日前，某股份制商業銀行發布“大數據平臺HTAP集群優化項目”，天云數據國產自研的混布Hubble數據庫中標。
細數下來，今年是天云數據為該股份制商業銀行提供服務的第三個年頭。在這三年里，天云數據Hubble數據庫先后為其提供了貸中實時監控反欺詐、實時監控人工審查的優化、實時存款余額、指標管理平臺功能優化等服務。
該行大數據平臺建設之初，主要側重為離線任務提供算力。隨著業務量的不斷增長，傳統應用系統架構無法滿足大數據量場景的業務流程迭代。如何提升客戶體驗及同業競爭力，該行提出三大需求：
- 及時查看各分支行的目標進度；
- 每天定時同步指標清單及相關數據，支持實時營銷的業務特性；
- 建立一套數據實時分析服務系統，對風險進行快速反應、聯動管控。
Hubble數據庫提供服務后：
- 實時反欺詐：實現了每天千萬級交易數據數據實時并發入庫；接近100個復雜欺詐規則分析，毫秒返回分析結果單。
- 實時監控人工審查的優化：復雜類查詢平均響應時間為100ms內，數據實時接入平均耗時3.12ms過。
- 實時存款余額查詢功能：對一般復雜的查詢，百毫秒級的查詢響應。
- 指標管理平臺功能優化：將衍生標簽接入持續集成，實現了與指標加工、應用加工同樣的快速更新迭代。
此外，完成實時數倉建設和實時特征工程表達。
互聯網帶來的是迅猛的數據資源爆發。數據是流通的副產品，最早的屬性是交易數據。互聯網驅動行為數據的爆發，行為數據需要靠高并發、高擴展、更松耦合的高服務能力來支撐完成。傳統數據庫難以支撐。在技術新世界里面，我們很少看到Google宕機，因為它不是靠高可用性來保證，而是靠整個服務的容錯。行為數據中誕生了新的架構，催生分布式架構。能夠統一支撐事物處理和工具負載分析的數據庫成為必須剛需。
Hubble數據庫之所以能實現是在設計之初就考慮了向上兼容性以及場景的復用，以抽象存儲層、抽象計算層、抽象資源管理作為基礎支撐，通過Hubble AP、TP的混合存儲以及混合計算引擎，來支撐上層邏輯計劃成為了可能。我們知道，業務場景分為兩種模式，面向聯機事務交易(OLTP)和面向聯機分析(OLAP)。不管是關系型數據庫還是圖數據庫都可以分為上面的兩層業務邏輯。如果TP、AP業務在場景上是統一的，那么數據存儲上就可以向上做兼容，滿足同樣的場景。未來，Hubble數據庫將繼續深耕技術，成為各行各業基礎設施的支柱。