科天云以音視頻技術(shù)賦予各行業(yè)新的生命力
科天云研發(fā)團(tuán)隊(duì)匯集了很多曾在思科、華為、IBM等企業(yè)就職的人才，有非常豐富的音視頻產(chǎn)品研發(fā)經(jīng)驗(yàn)。
如圖所示，科天云自研的音視頻通用SDK可將各種設(shè)備接進(jìn)來(lái)，無(wú)論是在公有云上直接用，還是在私有云上部署，滿足各類客戶的需求。
RTC兩個(gè)難點(diǎn)
實(shí)時(shí)音視頻技術(shù)RTC的兩個(gè)難點(diǎn)：一是如何兼容海量設(shè)備，二是怎樣應(yīng)對(duì)復(fù)雜多變的網(wǎng)絡(luò)。
適配海量終端
先從設(shè)備開(kāi)始。圖上主要說(shuō)明了視頻會(huì)議如何涵蓋從口袋到董事會(huì)會(huì)議室的需求，從最左邊最簡(jiǎn)單的手機(jī)、Pad，到桌面設(shè)備，到雙屏、三屏的網(wǎng)真。用過(guò)視頻會(huì)議的人應(yīng)該都聽(tīng)說(shuō)過(guò)網(wǎng)真，它的屏幕可以與真人大小一樣，很多電視采訪都使用了網(wǎng)真設(shè)備。
在公司會(huì)議室開(kāi)會(huì)時(shí)，大多數(shù)依然使用SIP/H.323硬件終端。一些有安全要求的制造業(yè)客戶用VDI虛擬桌面，這種硬件跑會(huì)議會(huì)碰到很多問(wèn)題，VDI點(diǎn)對(duì)點(diǎn)呼叫會(huì)有所謂發(fā)卡效應(yīng)，音視頻都要到虛擬服務(wù)器繞一圈。在這種服務(wù)器上做音視頻、會(huì)議客戶端要采取特殊措施。
SIP/H.323協(xié)議兼容其實(shí)非常復(fù)雜，最少要兼容國(guó)際廠商例如思科、POLYCOM、AVAYA，國(guó)內(nèi)廠商例如華為、中興，這些頭部廠商都要支持，甚至這些廠商多年前的老設(shè)備老版本也要兼容。
適配海量家電
到去年，隨著萬(wàn)物互聯(lián)的興起，以及母公司TCL（因?yàn)槠渥銎聊挥懈鞣N家電）提出將整個(gè)音視頻帶到所有家電中的戰(zhàn)略，科天云開(kāi)始擴(kuò)展適配終端的類型。這也是非常大的挑戰(zhàn)。
以前主要做安卓手機(jī)，現(xiàn)在安卓電視要適配CPU、GPU，還有分辨率的適配、豎屏變橫屏等�，F(xiàn)在市場(chǎng)上也推出了帶攝像頭的掃地機(jī)器人，帶屏幕的吸油煙機(jī)、冰箱，智能門鈴也有屏幕攝像頭，這些設(shè)備多種多樣。
音視頻賦能智能家電是很有意義的，一些老人和小孩還是習(xí)慣看電視，新的電視機(jī)上有攝像頭，在外辦公的我們想看家里的老人和孩子時(shí)，在手機(jī)上點(diǎn)一下，在家那端的老人孩子無(wú)需做任何操作就能音視頻通話了，很方便，可以時(shí)刻關(guān)愛(ài)家人。
章魚(yú)跨平臺(tái)全端SDK
我們花了很大功夫去做上述終端的適配。用純C代碼實(shí)現(xiàn)端側(cè)所有功能，WebRTC是用C++寫(xiě)的，用C語(yǔ)言才能做到可移植，做到非常小的安裝包，適應(yīng)超低功耗，利用不同編譯器適應(yīng)不同平臺(tái)。雖然我們做了移植和裁減，但在抗弱網(wǎng)能力和首幀低延時(shí)方面還是實(shí)現(xiàn)了非常好的效果。
音頻弱網(wǎng)卡頓現(xiàn)象
音頻整體比視頻從發(fā)送到接收要簡(jiǎn)單一些。整個(gè)損耗大部分發(fā)生在網(wǎng)絡(luò)側(cè)，設(shè)備側(cè)損耗和信號(hào)處理方面也有一些，抗丟包擁塞控制方面，音視頻的技術(shù)都類似。
章魚(yú)音頻抗丟包
在客戶端方面，我們科天云自研的冗余算法比較好，實(shí)測(cè)下在70%左右的網(wǎng)絡(luò)丟包場(chǎng)景下音頻可接受。在瀏覽器和SIP終端能做的優(yōu)化手段，沒(méi)有軟客戶端那么多，只能利用Opus帶內(nèi)FEC，可對(duì)抗40%左右丟包。
RTC視頻全流程
上圖是RTC視頻全流程的簡(jiǎn)圖。它比音頻復(fù)雜，做視頻傳輸?shù)暮诵氖谴a率控制器，需要控制編碼碼率、FEC冗余度、丟包重傳碼率，最后通過(guò)Paced Sender控制發(fā)送碼率到接收端。期間經(jīng)過(guò)了很多代的迭代，最早完全靠接收端在REMB報(bào)文中反饋可接收帶寬，現(xiàn)在主要在發(fā)送端進(jìn)行帶寬評(píng)估（基于接收端反饋的Transport-CC報(bào)文）。
章魚(yú)視頻抗丟包
最后通過(guò)以上各個(gè)環(huán)節(jié)優(yōu)化，科天云在視頻方面可對(duì)抗60%左右的丟包。根據(jù)NACK請(qǐng)求進(jìn)行丟包重傳，在低RTT的場(chǎng)景下NACK重傳的抗丟包效果還是比較明顯，同時(shí)也結(jié)合一些FEC的糾錯(cuò)。SIP在視頻方面需要根據(jù)SIP設(shè)備反饋的丟包率及時(shí)延情況，動(dòng)態(tài)調(diào)整視頻分辨率和碼率，SIP終端的軟件硬件都比較難控制，有很多廠家，相較軟客戶端調(diào)優(yōu)難度系數(shù)大。
章魚(yú)信令升級(jí)
如果把音視頻都做到較好的弱網(wǎng)對(duì)抗性了，信令就是我們接下來(lái)需要優(yōu)化的點(diǎn)了，要考慮信令的升級(jí)。最早比較多同行用WebSocket傳信令，還有人在私有的RUDP協(xié)議上做信令傳輸，WebRTC新標(biāo)準(zhǔn)在推WebTransport，用它做信令升級(jí)，相較于基于TCP的WebSocket有很多優(yōu)勢(shì)。比如：更快的連接握手、連接多路復(fù)用、擴(kuò)展FEC機(jī)制、支持連接遷移、改進(jìn)的擁塞控制算法等。
如需獲得完整版演講PPT內(nèi)容，請(qǐng)您掃碼留下聯(lián)系方式。
獲取產(chǎn)品/方案詳情
關(guān)于科天云（www.ketianyun.com）
科天云專注為企業(yè)用戶提供領(lǐng)先的專業(yè)級(jí)音視頻協(xié)作服務(wù)和解決方案�？铺煸茟{借多年視頻會(huì)議及智能客服的音視頻能力沉淀積累，依托音視頻功能模組（aPass中臺(tái)）的開(kāi)發(fā)能力，打造“音視頻+AIOT+場(chǎng)景應(yīng)用解決方案”的實(shí)時(shí)音視頻連接應(yīng)用服務(wù)，為各類品牌設(shè)備商、ISV、SI提供最專業(yè)的音視頻、云邊協(xié)同、智能化的解決方案和服務(wù)能力。科天云服務(wù)已覆蓋制造、教育、醫(yī)療、政府、金融、地產(chǎn)等諸多行業(yè)，為超過(guò)10萬(wàn)家企業(yè)客戶加速推動(dòng)協(xié)作變革和數(shù)字轉(zhuǎn)型。
