根據思科公司今年發(fā)布的報告稱，預計 2021 年，視頻將會成為互聯(lián)網產品的主要需求，超過80%的互聯(lián)網流量將會被視頻占據。屆時，與視頻相關的服務與需求將提升約50%，而其中對超高清的需求將提升約30%。同時，互聯(lián)網對直播和其它實時視頻服務的需求將會是目前的15倍。

　　如此快速的發(fā)展和快速增長的需求，正是互聯(lián)網公司推動新一代視頻編解碼技術的動力。

　　新一代編解碼技術 AV1 已于2018年6月定稿，它有四個特點：

　　眾所周知，AV1 的前身是 Google 推出的 VP9。相對于 VP9，AV1 有三個特點：Performance、Platform、Potential。AOM 的框架使得 AV1 ，以及未來視頻的發(fā)展都更有活力。盡管 AV1 目前還處于研發(fā)和推廣初期，我們相信它在業(yè)界的廣大支持下，會獲得比 VP9 更廣泛的應用。

　　開源媒體聯(lián)盟 AOM 由 Google、亞馬遜、思科等公司聯(lián)合牽頭成立，致力于推廣和研發(fā)多媒體的視頻編解碼技術。除了當前與視頻行業(yè)緊密相連的互聯(lián)網公司外，該聯(lián)盟內還有硬件設備廠商、內容供應商、主流瀏覽器廠商等。最近蘋果也加入了 AOM。業(yè)界的生態(tài)系統(tǒng)也都將支持 AV1。

　　AV1 工作組共有四個：軟件研發(fā)組、硬件研發(fā)組、Tapas 組、測試組。軟件和硬件研發(fā)組聯(lián)合進行 AV1 的研發(fā)，同時測試組會對 AV1 的一致性進行檢測。而 Tapas 組則進行專利審核，并提供法律問題咨詢。

　　AV1 的研發(fā)組是個很有活力的社區(qū)。在整個 AV1 的研發(fā)過程中，已經發(fā)表超過15篇學術論文，約有 100 多個研發(fā)提案被 AV1 采用。目前大家可以在網上下載到參考代碼，大約有30萬行代碼，并且平均每天會有15個代碼被提交上來。

　　AV1 從研發(fā)到推廣，將會分為四個階段：

　　從2015年的研發(fā)開始，到2018年6月的定稿，我們已經完成了第一階段的目標。目前，我們正處于第二階段，Google 的 Chrome 瀏覽器上已經實現(xiàn)了軟件解碼。在未來的第三、第四階段中，我們的主要任務就是硬件設備與內容供應商對 AV1 的支持。預計2020年 AV1 將獲得更廣泛的應用。

　　與其它視頻編碼軟件相似，AV1 的也分為一系列連續(xù)的模塊，包括分割、預測、變換、量化、熵編碼、環(huán)內濾波等。在單元塊劃分上，AV1 支持更多的劃分模式和更大的劃分塊。其前身 VP9 支持最大劃分塊為 64x64，對每個方塊可以遞歸地進行四個子塊的劃分。AV1 支持最大劃分塊為 128x128，對方塊遞歸的劃分有10種類型，最小的劃分塊為 4x4。

　　AV1 支持56個方向的預測，利用當前塊的上邊界和左邊界，重建的圖像，通過方向的差值來預測當前塊的像素值。它的角度的表達方式是從8個主要的差值方向中，選擇其中之一，并用一個 Delta 值來確定精確的角度。

　　除了方向的預測之外，AV1還支持其它的方式對單個像素或當前漸變塊生成預測。如下圖所示，有四種不同的差值方法對當前值進行預測，當前值P將會由深藍色模塊的像素差值獲得。值得一提的是，另外一種遞歸的方式對漸變塊進行預測，利用濾波的方式遞歸地對每個像素值進行預測，在編解碼方面復雜度會有所提升。

　　從亮度值預測色度值的工具，它利用了視頻圖像當中亮度值通道與色度值通道具有高度相似性的特點，通過選擇適當?shù)膮��?shù)再以重建亮度值通道來預測色度值，這個工具對于游戲視頻具有很好的壓縮效果。

　　調色板模式將塊內的元素當做幾種離散的顏色，不同于直接傳輸像素本身的參數(shù)值，而是通過傳輸色塊的顏色編號實現(xiàn)壓縮的目的。AV1支持從8×8到64×64的塊，支持調色板模式，編碼器會自動根據視頻內容選擇是否使用調色板模式，如圖所示的例子，左邊是一個當前模塊被劃分成了3種不同的顏色塊，根據波前的方式逐個編碼塊內的方塊，它的左側和上側的顏色信號將作為信息在熵編碼中被使用。調色板模式對于當前塊有單一色調的場景十分有用，一般這種場景出現(xiàn)在屏幕內容的壓縮當中。

　　另一個對于屏幕內容壓縮很重要的工具叫做幀內拷貝。它的工作原理就是，在預測當前塊時它會去搜索當前幀已重建的圖像部分，比如下圖1中第二個字母 A 和第三個字母 A，它將找到第一個已經被編碼的字母A預測塊，它的預測會非常準確，可以達到提高壓縮效率的目的。圖形中包含了非常多的字母，就會通過幀內拷貝的模式搜索到非常好的預測效果，大大提高了視頻壓縮效率，僅這幅圖來說，壓縮效率就提升了 50%。

　　幀間的壓縮工具比幀內的壓縮工具更豐富。AV1 比 VP9 在參考幀的數(shù)量和結構上有了進一步的優(yōu)化，支持8個參考幀，并能夠使用其中的7個參考幀進行預測，而 VP9 只使用了其中三個。AV1 還支持分層結構進行雙向預測。

　　在現(xiàn)在的視頻壓縮標準中，運動估計在比特率中占有很大一部分，運動的估計一般通過搜尋一個運動向量找到參考幀中對應的塊對當前塊進行預測。在 AV1 里我們采用了一種方法叫做運動場投影的方法來獲取運動向量，它的工作原理是通過當前幀的兩個參考幀，并且找到參考幀的對應參考幀獲得一個運動軌跡，將運動軌跡投影到當前來幀獲得兩個運動向量。當物體是線性運動時，這兩個運動向量將能很好預測到物體的運動軌跡，并獲得更精準的預測，從而幫我們獲得更好的壓縮效果。

　　在我們有了這些運動向量之后，我們還需要傳輸它們。而在現(xiàn)有視頻標準中，傳輸運動向量已經占據了很大的比例。所以我們 AV1 中采取了一種叫做動態(tài)運動向量索引的方法，它不直接傳輸運動向量的具體坐標值，而是傳輸它在運動列表中的序號，然后通過查詢得知所用的運動向量。運動向量通過運動場投影的方式獲得并加入到運動列表中。我們通過運動估計的測算將運動列表的向量值進行排序，再通過編碼器選擇對好的序號傳輸給解碼器。

　　現(xiàn)在的視頻壓縮標準都支持雙向預測，當我們有了兩個參考幀之后如何把它們融合在一起生成預測塊是值得探討的問題。AV1 在這個方面支持了多種不同的方式來生成預測塊，包括平均值運動補償、加權運動補償、楔形分割預測等。

　　運動塊補償早在 H.263 時代就被提出，在這里被 AV1 采用。它的原理是利用平滑濾波的方式將兩個運動補償塊重疊在一起，特點是能夠消除運動的不連續(xù)性帶來的影響，以此提高預測準確率。雙向預測中，我們可以通過調整兩個預測快的權重來達到生成不同預測快的目的。AV1 除了支持平均運動補償，還會根據參考幀的距離來加權生成預測塊，特點是當一個參考幀距離現(xiàn)在幀非常近的時候它的預測準確度可能更會高，于是我們給予它更高的權重，當另一個參考幀距離比較遠的時候我們會給予遠處的參考幀一個更低的權重，權重并不直接通過比特流傳輸，會通過傳輸序號的方式在預設置的表格里查詢對應的權重。

　　AV1 還支持楔形分割預測，可以彌補方塊運動補償中無法準確模擬物體邊界的缺點。楔形分割已經作為查表預存在編解碼器中，通過編碼器選擇合適的最佳的楔形分割方式傳輸比特流來告知解碼器。

　　方塊的運動補償有一個很大的問題，它無法模擬實際運動中的大量的卷曲和變換。AV1 采用了基于仿射變換的方塊補償來解決這個問題。AV1 支持從幀到幀的全局變換，也支持塊到塊的局部變換。

　　在變換處理方面，AV1 除了支持傳統(tǒng)的 DCT，還支持 ADST、fADST、IDT ，由于他們都是二維可分割的，所以 AV1 共支持16種組合。同時，AV1還支持多種尺寸的變換快，最大為64x64，最小為4x4，還支持長方形的變換塊尺寸。AV1 支持 DCT 是因為，它對自然信號具有近似最優(yōu)解的壓縮效果，而當殘差信號為單調變化時，那么 ADST 和反向 ADST 會有很好的壓縮效果。全等變換對于視頻是階躍變換時，會有很好的壓縮效果。

　　相比 VP9，AV1 增加了很多變換尺寸和變換類型，這使得它的搜索空間大幅增加，編解碼復雜度也有所提升。

　　在量化方面，AV1 在 VP9 的基礎上增加了幾個新的工具，包括 Delta-q 和 Quantization matrix 等。這些工具使得 AV1 的量化有了更大的靈活性，它的特殊的使用場景下具有很好的使用效果，比如使用參數(shù)矩陣能夠提升主觀觀測的質量。

　　在熵編碼方面，AV1 使用了多符號算數(shù)編碼，能有較高的吞吐量，具備快速概率模型自適應的特點。

　　在視頻壓縮技術中，對變換后的系數(shù)矩陣的壓縮和傳輸將占比特流的絕大部分，甚至超過50%，AV1 里針對這個變換矩陣的傳輸使用了分層編碼的方法，分層編碼將使用兩次掃描對當前塊的矩陣進行壓縮，第一次掃描將會編碼系數(shù)的絕對值，第二次編碼將會編碼系數(shù)的符號。讓我們用一個例子來說明分層編碼的過程。如下圖所示，左側代表當前的系數(shù)矩陣和掃描的順序，第一行表示第一次編碼，第一次編碼從終止位置開始，逆掃描方向逐漸走向起始位置，深黃色的塊表示當前的像素值，淺黃色表示它能用到的周圍的數(shù)值信息，第二行表示第二次編碼從起始位置開始一直到終止位置，第一次編碼只編碼系數(shù)的絕對值，第二次編碼將編碼系數(shù)的符號。

　　環(huán)內濾波是目前視頻標準的必要組成部分。AV1 除了有傳統(tǒng)的去區(qū)塊濾波器，還增加了新工具，比如約束方向增強濾波器（CDEF），還有幀超分辨率重建、環(huán)內重建濾波器，以及電影顆粒膠片效果合成器。

　　AV1 的去區(qū)塊濾波器對 Y、U、V 三個信號通道分別采用不同的濾波強度。對 Y 通道，水平濾波和垂直濾波采用不同的濾波強度。這個設計為去區(qū)塊濾波增加了更多可優(yōu)化的空間。

　　約束方向增強濾波器（CDEF），應用在去區(qū)塊濾波之后，對每一個8x8的塊估計物體的方向，并沿著物體方向采用增強濾波。它能保留物體邊緣的清晰度，提升重建圖像的質量。

　　幀超分辨率重建，應用在 CDEF 之后。它首先將圖像沿著水平方向降采樣，只對低分辨率圖像進行編碼，在解碼器升采樣把低分率圖像還原為原分辨率。這個方法顯著提升了低碼率下的編解碼的主觀觀測質量。

　　環(huán)內重建濾波器，是另一個重要的增強圖像質量的后期處理方法。它包含了兩種濾波器。編碼器從兩者中選擇其一。Wiener 濾波器采用可分離的對稱設計。自導向投影濾波器使用兩個重建信號的線性組合來近似真實信號。編碼器通過比較濾波結果，選擇合適的參數(shù)，并傳輸給解碼器。

　　電影膠片顆粒效果合成，是針對高質量視頻而設計的一個工具。電影膠片的顆粒效果，很難用傳統(tǒng)的視頻壓縮方法保留。AV1 將顆粒效果合成作為后期處理的步驟，對顆粒效果單獨處理。它的工作原理是將電影膠片顆粒效果在編碼前從原視頻中分離出來。分離后的圖像進行普通編解碼，而顆粒效果在最后與解碼后的圖像合成為最終的輸出視頻。

　　我們對比了 AV1 與 VP9 和 HEVC，嚴謹?shù)刂v，我們對比的是這幾種編碼標準所使用的參考軟件實現(xiàn)，AV1 使用的參考軟件實現(xiàn)是 Libaom，VP9使用的是 Libvpx，HEVC 使用的是 x265。我們的測試環(huán)境是 AWCY，它是一個公開的測試集，包含了30多個從360p 到1080p 的測試視頻文件，測試條件固定 QP60幀。在這樣的測試環(huán)境下，我們可以看到 Libaom 比 Libvpx 約有30%的壓縮效率提升，比 x265 有27%的效率提升。

　　Facebook 也在他們實際應用場景中，對比測試了 AV1、VP9 和 H.264。AV1 的效率比 H.264 提升了 50%，比 VP9 提升了30%。

　　莫斯科國立大學每年也會進行編碼器的效果測試，在他們的測試結果中，AV1 取得了最佳的壓縮效果，明顯超越了 H.264、H.265 和 VP9。

　　我們都知道，現(xiàn)在的視頻壓縮標準用更高的編解碼復雜度換取視頻壓縮效率的提升，當然實際應用中我們不可能無限制提高編解碼復雜度，那平衡點在哪里呢？對于視頻點播的公司而言 Netflix 給出了他們的回答。他們認為 AV1 的編解碼復雜度，如果能控制在 VP9 的 4-10 倍，就可以應用于他們的產品中。我們 AV1 的復雜度是多少呢？截止今年8月初，我們對比了 AV1 與 VP9 在速度 0 到速度 3 的編碼復雜度。先解釋一下，速度 0 表示壓縮效率最高，但速度最慢，速度 3 反之。相比于 VP9，AV1 在速度0是 VP9的70倍，在速度3則已經降低到10倍以內。AOM 軟件開發(fā)組正在進行AV1編解碼的優(yōu)化，這個數(shù)值也在不斷下降。

　　AV1 當前的重要目標是編解碼的優(yōu)化，在編碼端需要更多的 SIMD 代碼支持，還要重新設計編碼，尤其是降低在硬件端的復雜度。在編碼方面，我們需要加快編碼速度，我們需要更高效的分割算法，更優(yōu)的濾波器類型、編碼類型、運動估計算法等。

　　在 AV1 中，我們使用了很多機器學習算法，它使得 AV1 能做出很多快速的決定，比如對搜尋方塊劃分的類型。我們相信在接下來的工作中，更好的機器學習算法會有助于 AV1 視頻編解碼的加速。我們在未來還將繼續(xù)嘗試其它新的視頻壓縮工具，比如光流的算法、基于機器學習的預測與合成的算法、基于機器學習的變換方法等。相信在 AOM 的框架下，以及各個成員與整個生態(tài)系統(tǒng)的支持下，AV1 在不久的將來會獲得更廣泛的應用。

　　陳誠：目前 AV1 處于第二階段，我們已經完成了標準的定稿以及瀏覽器軟件解碼的支持。未來一兩年內會完成與硬件相關的設計與優(yōu)化，預計在2020年，AOM 組織內的成員將都支持 AV1，那時任何人都可以使用到它。

　　觀眾：我們很關心 AV1的性能問題。跟其它編碼器相比，在同樣的質量條件下，壓縮同樣的內容能節(jié)省多少碼率。剛剛您已經提供了一些比較詳細的數(shù)據。我有一個疑問，印象中，在 Facebook 的測試中，與 H.264進行對比，AV1能節(jié)省一半的碼率，我們知道 HEVC 和 H.264 的比較也是提升了一半。從這個角度講，AV1 和 H.265壓縮比應該是相當?shù)�。但從其它報告來看，又顯示 AV1 略勝于 H.265，但是數(shù)據略有浮動，有的是20%，有的是40%。您能提供一個比較權威的對比解讀么？AV1到底比 H.265 強多少？

　　陳誠：我的說法僅是個人意見，無法作為官方解釋來參考。不同的測試環(huán)境會導致測試效果的不同。我認為有兩方面的差異導致了結果不同。首先是所使用的測試集，其次就是測試條件不同。關于測試條件，AV1 的研發(fā)目前主要為互聯(lián)網公司的視頻點播提供壓縮算法。以 youtube 和 Netflix 來說，他們是給一個固定的碼流來進行壓縮，而AV1與HEVC的對比是基于固定 QP 作為對比條件。AV1 的設計初衷是在一個固定碼流下進行壓縮，并沒有針對固定 QP 進行優(yōu)化。這就導致了在很多的對比測試中，AV1 看起來并沒有比 HEVC 提升多少。我在解釋是基于 youtube、Netflix 等公司在實際應用環(huán)境中的測試結果，他們認為 AV1 已經超過了 H.264、H.265。