有些團隊在利用機器學習進行研究時沒有 GPU 可以用來加速學習速度；
而另一些團隊已經擁有了 GPU，但是他們沒有完全利用 GPU 的處理能力，很多 GPU 資源在白白閑置。
Bitfusion 把 GPU 資源集中起來，組成 GPU 資源池，然后共享給大家使用，這個方案分為兩部分：
- Bitfusion 服務器：把 GPU 安裝在 vSphere 服務器上 （要求 vSphere 7 以上版本），然后在上面運行 Bitfusion Server （以 OVA 格式提供的 virtual appliance），Bitfusion Server 可以把物理 GPU 資源虛擬化，共享給多個用戶使用。
- Bitfusion 客戶機：Bitfusion Client 是運行在其他 vSphere 服務器上的 Linux 虛機 （要求 vSphere 6.7 以上版本）， 機器學習 ML （Machine Learning） 工作負載運行在這些虛擬機上，Bitfusion 會把它們對于GPU 的服務請求通過網絡傳輸給 Bitfusion Server，計算完成后再返回結果。對于 ML 工作負載來說，遠程 GPU 是完全透明的，它就像是在使用本地的 GPU 硬件。
Bitfusion 共享 GPU 方案架構
Bitfusion 把機器學習對于本地 GPU 的訪問轉換成遠程 GPU 訪問，它是怎么識別這些 GPU 調用的？它對機器學習應用有什么要求嗎？Bitfusion 對于機器學習的基本要求就是必須使用 CUDA 架構，只有機器學習應用和 GPU 都使用 CUDA 架構才能被 Bitfusion 支持。
Bitfusion工作原理
CUDA 的全稱是 Compute Unified Device Architecture，它是由 NVIDIA 提供的通用并行計算架構，該架構使開發(fā)人員能夠快速地開發(fā)利用 GPU 的軟件，通過充分利用 GPU 所提供的上千個處理單元來快速解決復雜計算問題。NVIDIA 為開發(fā)人員提供了 CUDA 工具包，其中包括在 GPU 加速庫、編譯器、開發(fā)工具和 CUDA 運行時。
目前主流的 GPU 廠商有 NVIDIA、AMD 和 Intel，NVIDIA 當然支持自家的 CUDA，Intel 也提供了對于 CUDA 的支持；AMD 則另外搞了一套標準 HIP （Heterogeneous Computing Interface for Portability，可移植異構計算接口），提供了一個工具 Hipify 來將 CUDA 代碼轉換成 HIP。
使用 TensorFlow 框架開發(fā)的機器學習軟件運行堆棧如下圖所示，其中 CuDNN （CUDA Deep Neural Network） 是 NVIDIA 為深度神經網絡開發(fā)的 GPU 加速庫。
在整個軟件堆棧中，Bitfusion 在 CUDA driver 這個層面上截獲了所有的 CUDA 服務訪問，然后把這些服務請求和數據通過網絡傳遞給 Bitfusion Server，在服務器這一端再把這些服務請求交給真正的 CUDA driver 來處理，這就是 Bitfusion 的基本工作原理，如下圖所示。我們可以看到 Bitfusion Client 的軟件堆棧中插入了一個 CUDA driver 的代理，通過這個代理來把服務請求轉發(fā)給 Bitfusion Server 上的 CUDA 下層服務堆棧。GPU 輔助的神經網絡學習完成之后，結果再逆向通過這個堆棧返回機器學習應用 ML App。
GPU分區(qū)
在實現 CUDA 堆棧功能的基礎上，Bitfusion 還支持對于 GPU 的靈活劃分。對于很多機器學習應用來講，它們的計算量不需要用到整塊 GPU，只需要部分計算能力就行了。同時，把一塊物理 GPU 劃分成多個分區(qū)分配給多個用戶使用，就可以實現 GPU 共享。
NVIDIA 自己的 vGPU 解放方案也可以實現 GPU 的分區(qū)，通過分配 GPU 內存來控制對于 GPU 計算資源的使用，分配的比例有全部、二分一、四分之一等，各個 vGPU 的大小必須一致，比較死板。
相比之下 Bitfusion 的分區(qū)方案就靈活多了，可以根據用戶需求任意劃分分區(qū)，分區(qū)大小不需要一致。特別適合于機器學習這種應用場景，不同的機器學習應用需要的 GPU 算力是不一樣的，分配一塊合適的分區(qū)有助于避免 GPU 資源的浪費。同時，由于神經網絡的訓練通常是一個需要反復調整參數持續(xù)改進的過程，獨占整個 GPU 會造成極大的資源浪費，Bitfusion 的 GPU 分區(qū)功能特別適合這種應用場景。
Bitfusion 的 GPU 分區(qū)方案具有以下特點：
- 分區(qū)可以是任意大�。築itfusion 可以指定任意大小的分區(qū)，例如 1%；如前所述，這特別適用于開發(fā)測試等試驗性的應用場景。
- GPU 獨立性：各個 GPU 分區(qū)相互獨立，各自運行不同的 AI 框架和模型，絕對不會相互影響。
- 大小可動態(tài)調整：GPU 分區(qū)可以動態(tài)調整大小，例如從同一塊物理 GPU 分出的兩塊分區(qū)分別為 45% 和 55%，55% 的 GPU 分區(qū)可以進一步拆分成更小的兩塊 35% 和 20%，而不會影響另一塊 45% 分區(qū) 上工作負載的正常運行。
- 支持多個物理 GPU：從不同物理 GPU 中分出來的多個 GPU 分區(qū)能夠以多個 GPU 的形式分配給同一個用戶和工作負載，這既可以提高整個 GPU 資源池的利用率，也有助于開發(fā)和調試多 GPU 工作負載應用。
總結
Bitfusion 的工作原理決定了其應用場景，想要使用 Bitfusion 來共享 GPU 加速機器學習必須滿足以下條件：
- GPU 支持 CUDA 架構并且支持 vSphere 7
- 機器學習應用的 Linux 虛機必須在 vSphere 平臺上運行 （vSphere 6.7 以上版本）
- 提請大家注意，Bitfusion 并不適用于 VDI 應用場景，如果你想共享 GPU 加速 3D 設計渲染的話，NVIDIA 的 vGPU 是更合適的解決方案。Bitfusion 目前只支持 GPU 虛擬化共享，將來還有計劃支持其他硬件加速設備 FPGA 和 ASIC 的虛擬化和共享。
- Bitfusion 的工作原理決定了它有一些額外的資源消耗，主要是客戶端和服務器之間的網絡傳輸開銷。這些額外的開銷對于GPU的利用率會有一些怎樣的損耗呢？我們將在下一期的“Bitfusion性能評估”中來回答這些問題。
延伸閱讀
將 VMware vSphere / vSAN 軟件與 Intel 的最新硬件平臺技術相結合，可以為用戶交付最佳的超融合架構平臺，幫助用戶簡化數據中心管理，降低采購和運維成本，輕松應對企業(yè)在數字化轉型中面對的各種挑戰(zhàn)，是現代應用的理想運行平臺：
- VMware vSAN 是最佳的存儲方案平臺，具有管理簡便、高性能、低成本、易擴展的特點，在 vSAN 平臺上可以支持任何類型的應用。
- Intel 至強處理器提供最強計算能力，基于傲騰 （Optane） 和 3D NAND 技術的固態(tài)盤是理想的高速緩存，以太網融合網卡提供穩(wěn)定的網絡帶寬和低網絡延遲。
