徐晧博士介紹了混合AI的概念，是一個包括云端、邊緣云和終端的統(tǒng)一架構(gòu)。需要巨大算力海量數(shù)據(jù)資源的大規(guī)模AI模型訓(xùn)練，仍留在云端進(jìn)行。推理計算可以部分轉(zhuǎn)移到終端側(cè)，如果終端側(cè)算力無法完成，則通過5G等網(wǎng)絡(luò)，推到云端，運(yùn)算后再推回終端�；旌螦I架構(gòu)可以很好地協(xié)調(diào)終端和云端的資源分配，把AI能力發(fā)揮到極致。
他引用計算機(jī)的發(fā)展歷史，預(yù)測AI也會有這樣的趨勢。計算機(jī)從最早是專用的大型設(shè)備，隨后發(fā)展到個人使用的PC，再到可以攜帶的筆記本，最后發(fā)展成隨身的智能手機(jī)。這個過程是把以前大型計算機(jī)能做的事，慢慢演化貼近每個人的身邊。同樣的，終端側(cè)的AI算力會越來越強(qiáng)，功能會越來越多，各種AI功能也將逐漸由云端轉(zhuǎn)移到個人身邊。他在演講中展示了高通的一個案例，在今年初，高通實(shí)現(xiàn)首個在Android手機(jī)上運(yùn)行Stable Diffusion。這是一個10億參數(shù)規(guī)模的生成式AI模型，以前只能在PC設(shè)備上運(yùn)行，這次高通的運(yùn)行設(shè)備是一臺不聯(lián)網(wǎng)的高通驍龍8Gen2 5G手機(jī)，能在15秒內(nèi)完成20步推理，根據(jù)用戶的自然語言輸入生成圖片。徐晧還解釋了終端側(cè)AI取代云端推理其中一個深層原因，生成式AI每一次對話的成本是之前搜索引擎的10倍，當(dāng)成千上萬的用戶使用時，就會產(chǎn)生巨大的算力成本。這時候終端側(cè)AI就可以節(jié)約大量的計算成本，進(jìn)而加速AI普及速度。
徐晧羅列了一組數(shù)據(jù)，介紹了高通在普及終端側(cè)AI的優(yōu)勢。高通從2007年開始投入AI研發(fā)，不斷的將最新的AI算法和能力加入高通AI引擎，現(xiàn)在已經(jīng)發(fā)展到第八代高通AI引擎。全球范圍內(nèi)有數(shù)十億臺高通驍龍設(shè)備，并且繼續(xù)以每年數(shù)億臺的速度增長。高通還提供能簡化AI在終端側(cè)運(yùn)行的軟件和算法的綜合平臺。海量的硬件數(shù)量，優(yōu)秀的軟件生態(tài)，將會讓AI普及到更多人。
