北京論道丨咪咕沈昕:音視頻AI編碼助力大屏超高清業(yè)務(wù)創(chuàng )新

推薦閱讀：北京論道嘉賓演講大集合！

2023年6月15~16日，由流媒體網(wǎng)主辦，北京新媒體（集團）有限公司、北京聯(lián)通、北京電信、北京移動(dòng)共同協(xié)辦的「北京論道暨第25屆中國智能視聽(tīng)與科技創(chuàng )新高峰論壇」在北京隆重舉行。

本屆論道以“電視的未來(lái)與未來(lái)的電視”為主題，邀請到了智慧大屏產(chǎn)業(yè)的行業(yè)專(zhuān)家、企業(yè)翹楚蒞臨齊聚，多維角度透視當下大屏市場(chǎng)，共謀電視新未來(lái)。

【資料圖】

在15日召開(kāi)的“IPTV價(jià)值高峰論壇”上，中國移動(dòng)咪咕公司高級系統分析總監沈昕做了主題為《注入嶄新動(dòng)能，釋放倍增效應——音視頻AI編碼助力大屏超高清業(yè)務(wù)創(chuàng )新》的演講。

以下為演講全文：

我主要想分享一下大屏超高清相關(guān)的業(yè)務(wù)和技術(shù)的進(jìn)展，以及中國移動(dòng)包括咪咕公司的未來(lái)規劃。

IPTV接下來(lái)是進(jìn)一步向外延伸，還是回歸TV業(yè)務(wù)本身，這是大家在思考的問(wèn)題。今天先從回歸的角度來(lái)展開(kāi)，具體就是AI技術(shù)對大屏超高清業(yè)務(wù)的影響。

產(chǎn)業(yè)創(chuàng )新需要“新變量”

以家庭市場(chǎng)為主的大屏業(yè)務(wù)已經(jīng)進(jìn)入下半場(chǎng)，新變量可以是向外延伸，也可以是內化價(jià)值提升。2022年底，有線(xiàn)電視用戶(hù)跌至1.99億，OTT超10億，IPTV達3.8億戶(hù)，但部分省已出現IPTV用戶(hù)負增長(cháng)的情況。從2007年到現在，大屏業(yè)務(wù)有三個(gè)階段的發(fā)展，接下來(lái)，能否進(jìn)入二次業(yè)務(wù)創(chuàng )新階段？新技術(shù)對于IPTV能否產(chǎn)生新的量變？新變量又到底在什么地方？

根據第一性原理，回歸事物最基本的條件，是將其拆分成各要素進(jìn)行解構分析，從而找到實(shí)現目標最優(yōu)路徑的方法。電視是用來(lái)看的，需要精彩豐富的內容、清晰流暢的畫(huà)質(zhì)、沉浸式觀(guān)看體驗，2022年國內支持4K和HDR的智能電視滲透率超過(guò)80%，但超高清真4K內容占比僅約5%。如何在源頭高效生產(chǎn)既適合傳輸、又適合播出的高質(zhì)量?jì)热荩?/p>

五年前，我們就已經(jīng)開(kāi)始考慮怎樣能夠大量生產(chǎn)4K內容，因為技術(shù)條件的限制，以及生產(chǎn)能力等原因，高質(zhì)量?jì)热莘浅Ｉ?，在播出覆蓋上也很難。但感謝AI技術(shù)在這兩年的應用，尤其是ChatGPT在圖象領(lǐng)域、文字領(lǐng)域讓我們看到引入機器學(xué)習是能夠加速整個(gè)高質(zhì)量?jì)热萆a(chǎn)的。AI技術(shù)可對視頻畫(huà)質(zhì)進(jìn)行明顯提升，加速超高清內容生產(chǎn)進(jìn)程，賦能超高清規模應用。

對咪咕來(lái)說(shuō)，我們考慮的問(wèn)題是如何能夠驅動(dòng)雙千兆業(yè)務(wù)。從目標上來(lái)說(shuō)，希望形成咪咕元宇宙的家庭場(chǎng)景，這需要有引擎化、數智化的生產(chǎn)能力，基于前幾年投入的超高清領(lǐng)域研究，我們能夠從清晰度、色彩、流暢度、自由視角等形成的超高清技術(shù)能力底座，最終通過(guò)超高清+元宇宙的方式驅動(dòng)雙千兆業(yè)務(wù)的發(fā)展。

注入嶄新動(dòng)能

回歸到超高清編碼本身，既然是作為后續元宇宙發(fā)展的基礎，以更逼真、更自由、更沉浸化的方式進(jìn)行音視頻內容展現的話(huà)，要分很多維度。比如空間分辨率、時(shí)間分辨率、色彩分辨率、空間自由度、聲音分辨率、數據表示等。

清晰度增強——AI在“空間分辨率”中的應用方面，針對清晰度層面的增強，咪咕已經(jīng)在做并且已經(jīng)批量在用的，包括從標清到4K，我們基于生成對抗網(wǎng)絡(luò )（GAN）深度超分模型，進(jìn)行海量高分辨率視頻、圖像素材訓練，在已訓練高頻細節部分獲得高精度復原效果。

我們首先輸入一個(gè)圖片信息，然后生成視頻結果，這個(gè)結果有很多分辨率不是那么清晰，同時(shí)再引入一個(gè)更高清的分辨率，由判別器來(lái)判斷哪一個(gè)圖片是更加合適的，并且把反饋的結果重新給到生成器。通過(guò)這樣一種方式，實(shí)際上形成了生成和判斷的博弈，訓練的場(chǎng)景越來(lái)越多的話(huà)，在生成結果上面也會(huì )越來(lái)越好?；谶@樣的原理，也需要采用周邊算法做進(jìn)一步的提升，包括文字、人臉等進(jìn)行優(yōu)化。

流暢度增強——AI在“時(shí)間分辨率”中的應用方面，原理是基于視頻序列相鄰幀之間具有相似的空間和時(shí)間特征，經(jīng)過(guò)CNN內多個(gè)卷積和反卷積層后生成新的中間幀，并通過(guò)海量素材訓練模型以達到穩定效果。算法周邊：結合以人眼主觀(guān)感受作為計算標準。

色彩增強——AI在“色彩分辨率”中的應用方面，原理是使用CNN和GAN對大量的SDR和HDR視頻數據進(jìn)行訓練來(lái)學(xué)習轉換的映射關(guān)系，使用不同的網(wǎng)絡(luò )結構和訓練策略，以滿(mǎn)足不同的應用場(chǎng)景和性能要求，提高轉換的精度和效果。算法周邊：以人眼主觀(guān)感受調整色彩平衡、去噪等，提高視頻的質(zhì)量和視覺(jué)效果。

老片修復方面，主要是AI數智化編碼能力的綜合應用，可以賦予經(jīng)典影片、紀錄片、電視劇、文化專(zhuān)題片等新的?命，對文化傳承起到關(guān)鍵推進(jìn)作用。傳統修復流程較復雜，耗費?量??物?和時(shí)間，基于A(yíng)I的自動(dòng)化修復技術(shù)，可極大加速翻新修復的進(jìn)程。

360°視場(chǎng)自由——超高清FOV自由視角及自由縮放方面，原理上來(lái)說(shuō)，人眼本身是有觀(guān)察范圍的，拍攝過(guò)程當中我們采用多機位的方式覆蓋360度環(huán)繞視頻內容。最終，用戶(hù)能夠自由地在全場(chǎng)景當中選擇自己感興趣的內容，進(jìn)行更加清晰的觀(guān)看。

沉浸式三維聲——基于對象的“聲音分辨率”方面，在平面聲場(chǎng)的基礎上，增加了高度感，將每個(gè)聲音精準定位，使聲場(chǎng)還原為三維空間，能適應不同回放環(huán)境，為聽(tīng)眾提供極致的沉浸式聽(tīng)覺(jué)體驗。

關(guān)于未來(lái)

未來(lái)，下一代編碼技術(shù)朝著(zhù)哪個(gè)方向發(fā)展？編碼技術(shù)本身也是希望能夠通過(guò)最小數據量盡量還原我們的物理世界，所以說(shuō)通過(guò)引入AI技術(shù)，在壓縮方法上引入AI壓縮編碼，基于A(yíng)I區域分隔，進(jìn)一步降低碼率，同時(shí)能夠更加清晰地還原我們真實(shí)的世界。目前，智能編碼壓縮方法在逐步商用，從傳統基于塊的預測、補償、變換的混合編碼框架轉向端到端的AI壓縮編碼，以大幅提升壓縮效率。

體積編碼壓縮對象則處于實(shí)驗室階段，流程是二維視頻→三維體積視頻→光場(chǎng)全息視覺(jué)信號→光學(xué)高維度信號。視覺(jué)信號采集成像則未成熟，機器視覺(jué)編碼壓縮用途也沒(méi)有成熟。

另外，除了在視頻畫(huà)面增強領(lǐng)域的應用以外，AIGC也正在帶動(dòng)內容供給側革命。信號源已經(jīng)突破傳統現實(shí)世界的描述方法，開(kāi)始走向AI強化和數字生成的新階段。

不過(guò)，AI看起來(lái)很美好，最主要的還是需要有大量的算力，所以后續來(lái)說(shuō)，從運營(yíng)商的角度，構建完整的算力網(wǎng)絡(luò )，才能夠支撐我們從內容到增強到生成的跨越?；谶@樣的算力網(wǎng)絡(luò )，包括AI編碼、AI識別、AI渲染，當某一天我們能夠完成整個(gè)算力網(wǎng)絡(luò )大規模部署的時(shí)候，有可能完全顛覆對生產(chǎn)的過(guò)程。

此外還存在一個(gè)疑問(wèn)，未來(lái)的內容生產(chǎn)方向上，是從現實(shí)轉向數字，還是由數字表達現實(shí)，或者說(shuō)是兩者的相互結合？但不管怎么說(shuō)，面向高帶寬的用戶(hù)提供都是必不可少的。所以，至少當前階段我們能夠看到的是超高清內容的不足，而AI技術(shù)能夠實(shí)現整個(gè)視頻內容體驗的提升。

所以，面向未來(lái)，我們可以看到，AI編碼+云算力將推動(dòng)業(yè)務(wù)“泛屏化”，同時(shí)，用戶(hù)的交互模式以及內容的展現形式都會(huì )有極大的豐富。謝謝大家。

責任編輯：房家輝

關(guān)鍵詞：