臉書隨處可見AI應(yīng)用的身影，從個(gè)人化貼文排序、新聞推薦、廣告推播、人臉標(biāo)注到仇恨言論過濾，背后都靠AI進(jìn)行自動(dòng)化決策。這個(gè)開發(fā)規(guī)模有多大？臉書2016年在自家部落格公開了一個(gè)驚人的數(shù)據(jù)，臉書工程團(tuán)隊(duì)在過去短短一年多的時(shí)間內(nèi)，就訓(xùn)練了超過100萬個(gè)ML模型，更達(dá)到每秒600萬次預(yù)測(cè)。換句話說，平均只要1天，就能訓(xùn)練出兩、三千個(gè)AI模型。為何臉書可以這麼大規(guī)模的開發(fā)出各種AI應(yīng)用，關(guān)鍵就是2014年著手打造的ML平臺(tái)FBLearner Flow，這套AI開發(fā)流程，大大減少了AI開發(fā)過程中的人工作業(yè)。

　　舉例來說，在FBLearner Flow平臺(tái)上，提供了多種預(yù)定義ML流程（Pipeline），不同的AI專案能根據(jù)需求重復(fù)利用這些開發(fā)流程，甚至還有一個(gè)AI實(shí)驗(yàn)管理UI介面，讓開發(fā)者不用寫任何一行前端程式，就能快速建立模型實(shí)驗(yàn)的工作流，管理每日上千次的模型實(shí)驗(yàn)結(jié)果，更能線上快速檢視模型輸出、修改標(biāo)簽與原始數(shù)據(jù)，甚至能啟動(dòng)大規(guī)模部署工作，并監(jiān)控模型的表現(xiàn)。

　　這正是臉書訓(xùn)練出百萬個(gè)AI模型的關(guān)鍵，不只降低工程師手動(dòng)開發(fā)作業(yè)，還建立可重復(fù)使用的ML流程，讓工程師能更專注於特徵工程或模型訓(xùn)練，藉此提升AI開發(fā)速度與模型準(zhǔn)確率，甚至，非AI專業(yè)的軟體工程師，也能用這個(gè)平臺(tái)來開發(fā)AI應(yīng)用。勤業(yè)眾信風(fēng)險(xiǎn)管理諮詢副總經(jīng)理廖子毅指出，這個(gè)作法，正是近兩年崛起的MLOps概念的體現(xiàn)。

　　MLOps：一種加速AI落地的人員協(xié)作方法

　　越來越多企業(yè)在AI的發(fā)展，走出了實(shí)驗(yàn)階段，開始更大規(guī)模的落地應(yīng)用。為了加速AI開發(fā)，開始有企業(yè)仿效生產(chǎn)線設(shè)計(jì)，針對(duì)AI開發(fā)來建立一個(gè)系統(tǒng)性作業(yè)流程。

　　尤其，當(dāng)AI模型進(jìn)入持續(xù)交付、持續(xù)部署、成效監(jiān)控與迭代更新的階段，要串起整個(gè)模型從開發(fā)到運(yùn)維的全生命周期循環(huán)，更需要AI模型訓(xùn)練的資料科學(xué)團(tuán)隊(duì)，和負(fù)責(zé)AI應(yīng)用部署落地的IT團(tuán)隊(duì)，彼此緊密協(xié)作，來維持AI上線后的表現(xiàn)。

　　兩種不同角色團(tuán)隊(duì)協(xié)作的概念，聽起來很熟悉，在軟體開發(fā)領(lǐng)域一點(diǎn)都不陌生，就是已經(jīng)盛行多年的DevOps要解決的課題，運(yùn)用自動(dòng)化測(cè)試、持續(xù)整合、持續(xù)部署的工具，推動(dòng)開發(fā)與運(yùn)維人員更緊密協(xié)作，來加速軟體版本迭代更新。近來，國(guó)外更直接將DevOps概念延伸到AI開發(fā)領(lǐng)域，取ML與DevOps的字尾，創(chuàng)造出「MLOps」的名詞，提倡AI開發(fā)也應(yīng)該納入DevOps文化，透過AI、IT團(tuán)隊(duì)不同角色間的緊密協(xié)作，來加速AI落地。

　　不過，比起DevOps的實(shí)踐，是在軟體部署的環(huán)節(jié)，強(qiáng)調(diào)開發(fā)與運(yùn)維人員間的協(xié)作，MLOps更提倡AI全生命周期各角色的協(xié)作，透過將AI開發(fā)流程標(biāo)準(zhǔn)化與簡(jiǎn)化，建立起一套系統(tǒng)性協(xié)作新方法。

　　因?yàn)橄噍^於軟體開發(fā)，AI開發(fā)涉及的角色與工作流程都更加復(fù)雜。從一張?jiān)贏I領(lǐng)域流傳已久的ML Pipeline流程圖可以了解，企業(yè)要落地一個(gè)AI應(yīng)用，需做的事情遠(yuǎn)比訓(xùn)練一個(gè)模型多更多，甚至可以說，整個(gè)AI開發(fā)系統(tǒng)只有非常少部分的程式碼，是訓(xùn)練模型所使用，除此之外，還需進(jìn)行環(huán)境配置、資料搜集、特徵工程、資料驗(yàn)證、運(yùn)算資源管理、實(shí)驗(yàn)分析、流程管理、部署上線及成效監(jiān)測(cè)等工作，更需眾多不同專業(yè)角色來共同協(xié)作。

　　「在ML開發(fā)流程中，沒有人可以從頭到尾做完所有事情�！筁ine臺(tái)灣資料工程部資深經(jīng)理蔡景祥格外有體會(huì)的說，AI團(tuán)隊(duì)的不同角色都得各司其職，藉由更緊密的分工協(xié)作，在不同開發(fā)階段優(yōu)化AI。

　　他以自家經(jīng)驗(yàn)來解釋，Line臺(tái)灣AI團(tuán)隊(duì)中，資料工程師負(fù)責(zé)資料處理相關(guān)工程，ML工程師負(fù)責(zé)開發(fā)AI演算法，前者處理后的資料，會(huì)成為后者訓(xùn)練模型的資料來源。因此，兩種角色需共同定義模型開發(fā)所需的資料集，資料處理后的儲(chǔ)存格式與位置，以便后者能直接取用符合需求的資料，無縫進(jìn)行下階段的開發(fā)。

　　又比如資料科學(xué)家雖擅長(zhǎng)開發(fā)ML模型，但有時(shí)為了提升1%的模型準(zhǔn)確率，開發(fā)出上百M(fèi)B大小的龐大模型，實(shí)際上線后，卻可能拖慢了線上服務(wù)的效能。這時(shí)，負(fù)責(zé)分析模型上線實(shí)際成效的資料分析師，就需要與資料科學(xué)家相互協(xié)作，來進(jìn)行模型精準(zhǔn)度與效能之間的取舍。

　　甚至，蔡景祥指出，ML模型上線后，模型表現(xiàn)還會(huì)隨著輸入資料的漂移而逐漸衰變，這時(shí)，更需要運(yùn)維與開發(fā)人員緊密協(xié)作，在運(yùn)維端觀察到模型衰變后，交由開發(fā)端重新調(diào)校模型，甚至得以新特徵、新演算法重新開發(fā)準(zhǔn)確率更高的模型，再交由運(yùn)維端部署上線，才能維持模型隨時(shí)達(dá)到精準(zhǔn)預(yù)測(cè)。

　　而且，也不只是技術(shù)團(tuán)隊(duì)成員間要相互協(xié)作，技術(shù)單位與業(yè)務(wù)單位也需要協(xié)同合作，透過如模型成效分析工具，量化使用ML后的成效數(shù)據(jù)，來進(jìn)一步說服業(yè)務(wù)單位改用AI預(yù)測(cè)，確保AI能更有效提供商業(yè)面的洞察。

　　MLOps流程包含了多種元素在內(nèi)，包括模型探索、ML Pipeline的部署、模型打包與部署、模型版本控管、模型監(jiān)控與管理、模型治理、模型安全等議題，都要透過MLOps來實(shí)現(xiàn)。（圖片來源／勤業(yè)眾信）

　　勤業(yè)眾信風(fēng)險(xiǎn)管理諮詢副總經(jīng)理廖子毅表示，讓AI開發(fā)、部署與運(yùn)維三大團(tuán)隊(duì)，能透過一個(gè)標(biāo)準(zhǔn)化的流程來生產(chǎn)AI，建立像是工廠產(chǎn)線的作業(yè)流程，就是導(dǎo)入MLOps的重要指標(biāo)。（攝影／洪政偉）

　　像臉書、Line都屬于重度使用AI的企業(yè)，所以，才會(huì)格外重視AI開發(fā)的協(xié)作文化。勤業(yè)眾信一份內(nèi)部調(diào)查報(bào)告就指出，不只臉書，MLOps的早期實(shí)踐者如Google、Uber、Netflix、Airbnb等企業(yè)，都在加速AI應(yīng)用落地時(shí)，面臨了開發(fā)瓶頸，并自建ML平臺(tái)來克服挑戰(zhàn)。

　　因?yàn)檫@些企業(yè)不僅擁有自己的資料科學(xué)家與工程團(tuán)隊(duì)，面臨更多AI開發(fā)需求，已經(jīng)上線的AI應(yīng)用，更需要一套運(yùn)維與管理辦法，來隨時(shí)提供精準(zhǔn)預(yù)測(cè)。

　　比如Uber剛開始開發(fā)AI時(shí)，沒有遵循一套統(tǒng)一的開發(fā)流程，將模型部署到生產(chǎn)環(huán)境時(shí)，也仰賴工程人員客制化開發(fā)來上線服務(wù)，導(dǎo)致AI開發(fā)技能局限在少數(shù)人手上，應(yīng)用規(guī)模也難以擴(kuò)大。於是，Uber從2015年開始打造ML平臺(tái)Michelangelo，要透過標(biāo)準(zhǔn)化的端到端AI開發(fā)工作流，讓更多員工能跨過門檻來參與AI開發(fā)。

　　Netflix則是發(fā)覺，不同團(tuán)隊(duì)角色之間，常用的分析軟體與程式語言互不相同，增加了AI開發(fā)的協(xié)作挑戰(zhàn)，因此從2017年Q3開始，試圖深化Jupyter Notebook作為資料處理工具的應(yīng)用，更整合了支援Jupyter Notebook的相關(guān)函式庫(kù)或工具，比如互動(dòng)式介面nteract、用於參數(shù)化與執(zhí)行Jupyter Notebook的函式庫(kù)Papermill、Notebook瀏覽與共享工具Commuter以及容器管理平臺(tái)Titus，來建構(gòu)AI開發(fā)的基礎(chǔ)建設(shè)。

　　除了國(guó)外的應(yīng)用案例，臺(tái)灣也開始有企業(yè)實(shí)踐MLOps。比如Line臺(tái)灣就在去年底完整揭露了韓國(guó)總部建置的ML開發(fā)平臺(tái)ML Universe（簡(jiǎn)稱MLU），平臺(tái)中整合了不同的開源與自建工具，讓工程師能透過UI的編輯器功能，簡(jiǎn)易設(shè)定來建立ML Pipeline，訓(xùn)練完的模型也能快速打包成Docker Image來進(jìn)行部署，大幅降低了資料科學(xué)家與工程團(tuán)隊(duì)間的溝通成本，更提升了開發(fā)效率。

　　或像玉山銀行在2020年時(shí)就透露，采用了MLOps協(xié)作方法，讓數(shù)據(jù)模型或新上線的服務(wù)，都能即時(shí)、彈性回應(yīng)使用者需求，更打破了AI團(tuán)隊(duì)既有的職務(wù)內(nèi)容框架，讓開發(fā)者能從產(chǎn)品端反過來思考ML應(yīng)用。

　　「讓AI開發(fā)、部署與運(yùn)維三大團(tuán)隊(duì)，能透過一個(gè)標(biāo)準(zhǔn)化的流程來生產(chǎn)AI，建立像是工廠產(chǎn)線的作業(yè)流程，就是導(dǎo)入MLOps的重要指標(biāo)�！沽巫右銖�(qiáng)調(diào)。

　　勤業(yè)眾信更在2021年技術(shù)趨勢(shì)報(bào)告預(yù)測(cè)中，將MLOps列為今年度十大趨勢(shì)之一，今年將有更多企業(yè)面臨MLOps的導(dǎo)入需求，這一套AI開發(fā)與運(yùn)維的方法，更將擴(kuò)大企業(yè)落地AI的規(guī)模，促成AI開發(fā)走向工業(yè)化（Industrialized AI）。

　　本文未完，下半篇在這里