?

客戶模型上線應(yīng)用的現(xiàn)狀

?

模型上線與模型生產(chǎn)對(duì)應(yīng)的數(shù)據(jù)源不一樣；

模型開(kāi)發(fā)交付的變量加工邏輯到模型上線實(shí)現(xiàn)的變量加工邏輯還存在一段距離：數(shù)據(jù)源統(tǒng)一、加工邏輯重構(gòu)、數(shù)據(jù)核驗(yàn)；

模型開(kāi)發(fā)交付的模型到模型上線發(fā)布的模型存在一段距離：運(yùn)行環(huán)境準(zhǔn)備、環(huán)境變量設(shè)置、模型部署、上線測(cè)試等；

模型上線之后的幾種管理難度大，需要有效管理手段：模型服務(wù)科石化運(yùn)維管理、模型服務(wù)統(tǒng)計(jì)分析等。

?

模型發(fā)布管理的痛點(diǎn)分析

模型上線發(fā)布管理依賴人工處理，缺少有效管理工具

?

生產(chǎn)環(huán)境與開(kāi)發(fā)環(huán)境使用的數(shù)據(jù)源不統(tǒng)一，模型上線需要對(duì)數(shù)據(jù)處理邏輯進(jìn)行重構(gòu)、數(shù)據(jù)變量加工結(jié)果的核查周期長(zhǎng)，制約模型的快速發(fā)布上線。

模型發(fā)布管理的解決路徑與建設(shè)目標(biāo)

模型發(fā)布管理解決方案

Docker Engine引擎運(yùn)行在操作系統(tǒng)上，是基于內(nèi)核的LXC、Chroot等技術(shù)實(shí)現(xiàn)容器的環(huán)境隔離和資源控制，在容器啟動(dòng)后，容器里的進(jìn)程直接與內(nèi)核交互，無(wú)需經(jīng)過(guò)Docke引擎中轉(zhuǎn)，因此幾乎沒(méi)有性能損耗，能發(fā)揮出裸機(jī)的全部性能。

統(tǒng)一模型格式標(biāo)準(zhǔn)，實(shí)現(xiàn)不同開(kāi)發(fā)工具生產(chǎn)模型的集中管理，建議統(tǒng)一成標(biāo)準(zhǔn)模型PMML格；

靈活模型格式支撐：

• 天云AI平臺(tái)生產(chǎn)Mojo、jar格式模型
• TensorFlow SaveMldel保存的格式模型
• TensorFlow、Scikit-learn等框架保存的PMML格式模型
• Ckpt、pb等格式模型

構(gòu)建開(kāi)發(fā)環(huán)境鏡像，實(shí)現(xiàn)容器鏡像統(tǒng)一管理

• 通過(guò)容器化組件，構(gòu)建模型開(kāi)發(fā)團(tuán)隊(duì)的開(kāi)發(fā)工具環(huán)境鏡像，不同模型上傳到模型管理發(fā)布平臺(tái)后，可以根據(jù)模型開(kāi)發(fā)環(huán)境選擇對(duì)應(yīng)容器，實(shí)現(xiàn)模型快速發(fā)布；
• 支持主流建模工具的鏡像管理，包括Python鏡像、CNTK鏡像、TensorFlow鏡像、Spark Mlib鏡像等；
• 對(duì)其他建模工具的開(kāi)發(fā)環(huán)境，可以通過(guò)定制化方式建立相應(yīng)的鏡像；
• 不同的開(kāi)發(fā)工具版本需要建立不同的鏡像。

模型推理服務(wù)的容器化模式實(shí)現(xiàn)模型快速發(fā)布

• 外部環(huán)境開(kāi)發(fā)的PMML可利用JPMML插件上線，Mleap bundle利用MLEap runtime上線；
• TensorFlow模型可利用容器中的Tensor Serving環(huán)境上線；
• 天云AI平臺(tái)導(dǎo)出Jar包可直接發(fā)布為Restful API；
• 其他格式的模型，可在容器中部署其支持的運(yùn)行時(shí)環(huán)境后上線；
• 每個(gè)上線模型都可彈性擴(kuò)展可用資源，有K8S支持資源分配。

支持模型服務(wù)的運(yùn)維監(jiān)控