環(huán)球觀(guān)熱點(diǎn)：北京論道丨網(wǎng)仕科技曹潔:AI助力視頻內容生產(chǎn)

推薦閱讀：北京論道嘉賓演講大集合！

(資料圖片)

2023年6月15~16日，由流媒體網(wǎng)主辦，北京新媒體（集團）有限公司、北京聯(lián)通、北京電信、北京移動(dòng)共同協(xié)辦的「北京論道暨第25屆中國智能視聽(tīng)與科技創(chuàng )新高峰論壇」在北京隆重舉行。

本屆論道以“電視的未來(lái)與未來(lái)的電視”為主題，邀請到了智慧大屏產(chǎn)業(yè)的行業(yè)專(zhuān)家、企業(yè)翹楚蒞臨齊聚，多維角度透視當下大屏市場(chǎng)，共謀電視新未來(lái)。

在15日召開(kāi)的“IPTV價(jià)值高峰論壇”上，上海網(wǎng)仕科技有限公司總經(jīng)理曹潔做了主題為《AI助力視頻內容生產(chǎn)》的演講。

以下為演講全文：

今年是“AI年”，我們作為視頻生產(chǎn)工具的提供商，今天分享的主題是：AI助力視頻內容生產(chǎn)降本增效。

網(wǎng)仕科技成立10年了，我們最開(kāi)始提供手機電視直播解決方案，從2015年提供視頻能力平臺整體解決方案，2017年起提供視頻云運營(yíng)平臺，2019年打造了融媒體+融合AI的視頻云生產(chǎn)平臺，2022年，我們推出了基于A(yíng)I感知編碼解決方案。

我們的主營(yíng)業(yè)務(wù)包括4個(gè)方向：

1. 硬件設備：在線(xiàn)編碼器、4G背包、便攜式導播臺、數字解碼器、IPTV多畫(huà)面監看、HDR工廠(chǎng)等設備，

2. 視頻云：云直播、云會(huì )議等視頻云業(yè)務(wù)

3. 應用軟件：流媒體服務(wù)器、協(xié)議轉換網(wǎng)關(guān)、直播APP、UGC直播互動(dòng)系統、虛擬直播室、數字人等應用軟件

4. 平臺解決方案：云轉碼、云導播、云收錄、云快編、云拆條、云輪播、云接收等平臺解決方案。

我們主要聚焦于四個(gè)方向：

1. 智能化AI：將AI能力融入視頻生產(chǎn)平臺；

2. 互動(dòng)+會(huì )議：將廣電級別的技術(shù)和服務(wù)，注入互聯(lián)網(wǎng)式的設計和市場(chǎng)思維；

3. 云化+全協(xié)議棧：基于微服務(wù)架構的視頻云解決方案，模糊設備、技術(shù)和服務(wù)的界限；

4. 移動(dòng)化+4K+5G背包：基于5G技術(shù)設計超高清便攜式直播產(chǎn)品。

我們將專(zhuān)業(yè)級AI引擎應用于視頻內容生產(chǎn)，提供一站式視頻內容生產(chǎn)可視化解決方案，目前已經(jīng)大規模商用于東方明珠、百視通、?？低?、四川廣信天下傳媒、CNTV、天翼視訊、北京國際云轉播公司等。

AI賦能視頻拆條/編輯/編碼

云拆條是基于BS的拆條工具，對直播節目實(shí)施快速打點(diǎn)、剪輯、拼接等操作，生成點(diǎn)播文件，可實(shí)時(shí)快速預覽，支持時(shí)間軸、EPG等快速定位；并對視頻文件實(shí)施非編操作，包括剪切、合并，添加字幕、Logo、圖片及畫(huà)面特效，依托于強大的云端后臺處理能力實(shí)現視頻快速碎片化處理，提高內容生產(chǎn)效率進(jìn)而實(shí)現內容快速發(fā)布。

云拆條支持實(shí)時(shí)預覽拆條內容，支持時(shí)間軸、EPG等快速定位，支持多段合并，添加logo等，支持幀精確編輯，支持廣告識別+EPG自動(dòng)拆條。

AI拆條支持智能廣告識別+EPG實(shí)現精準拆條：上傳頻道的廣告素材，訓練模型；在創(chuàng )建任務(wù)中選擇要拆條的頻道設置拆條的起始結束時(shí)間，創(chuàng )建成功后進(jìn)入拆條任務(wù)列表等待運行，拆條運行成功后會(huì )生成一個(gè)去除廣告的成品視頻。

AI智能拆條支持智能廣告識別+EPG實(shí)現精準拆條：利用網(wǎng)仕科技累積的廣告視頻片段，經(jīng)過(guò)訓練學(xué)習得到的序列區分性深度廣告分類(lèi)模型，能夠自動(dòng)識別視頻中的廣告節目，并通過(guò)多特征融合拆分模型，結合EPG信息實(shí)現對廣告節目的精準自動(dòng)拆分，大大提高節目制作效率。

AI標簽是對視音頻內容進(jìn)行多維分析的工具，實(shí)現拆條體系通過(guò)標簽精準定位打點(diǎn)，方便融媒體資產(chǎn)的統一檢索和共享交換。AI標簽系統基于人臉識別、OCR文字識別技術(shù)、ASR語(yǔ)音識別、NLP自然語(yǔ)言處理等技術(shù)，智能提取視頻中的結構化信息，再通過(guò)知識圖譜進(jìn)行一階推理和一階聯(lián)系提取出視頻標簽。AI標簽可為用戶(hù)視音頻內容分析、視音頻檢索、智能推薦等業(yè)務(wù)場(chǎng)景提供支持。

云編輯模塊采有B/S構架具有快速制作、高效合成、幀精確、全格式兼容、易上手、一體化部署、本地編輯云端合成等特點(diǎn)，可完成視頻快速制作、圖文疊加、加遮擋、配音等應用，為新媒體、教育、醫療、等用戶(hù)提供快速的視頻制作生產(chǎn)服務(wù)。

云編輯功能區包括：1、多軌道操作：根據媒體類(lèi)型，分為音頻、視頻和圖像軌道，使視頻編輯操作一目了然。2、便捷導入素材：模塊頁(yè)面提供實(shí)時(shí)導入功能，在編輯過(guò)程中可隨時(shí)從本地導入所需的新素材。3、字幕和貼圖：自定義添加字幕和貼圖，可根據需要調整字幕和貼圖的大小、位置、字體、顏色等，在時(shí)間軸上拖動(dòng)即可改變字幕和貼圖的時(shí)間點(diǎn)和時(shí)長(cháng)。4、高級視頻編輯：云智編輯模塊除了具備視頻疊加等簡(jiǎn)單功能，還提供了視頻旋轉、視頻翻轉、畫(huà)面大小調整和不透明度調整等功能。5、快速發(fā)布：視頻編輯完成后可在云編輯頁(yè)面快速進(jìn)行發(fā)布，可定義節目名稱(chēng)、類(lèi)型、標簽、發(fā)行地區等。

AI審核基于敏感信息知識圖譜，敏感人物分類(lèi)及樣本庫，成熟的審核標準，圖像要素AI識別、全屏文字OCR提取、語(yǔ)音識別等先進(jìn)技術(shù)，對政治敏感、涉暴、涉黃、廣告等風(fēng)險內容進(jìn)行審核，支持文字、圖像、音頻、視頻等各種內容形式，滿(mǎn)足用戶(hù)多種業(yè)務(wù)場(chǎng)景的需求。

AI感知編碼引擎集感知編碼、AI輔助編碼、智能碼控于一體，兼容點(diǎn)播、直播、RTC等應用，節省帶寬，為企業(yè)降本增效。

AI感知編碼可以對內容進(jìn)行感知，對圖像畫(huà)質(zhì)進(jìn)行加強；在畫(huà)質(zhì)加強的根底上，進(jìn)行碼率調配的優(yōu)化；聯(lián)合外圍編碼器的優(yōu)化，壓縮帶寬，提升用戶(hù)體驗。AI提供了對內容進(jìn)行剖析和了解的能力，并在此基礎上實(shí)現疾速、最優(yōu)的參數編碼的預測。

基于ROI的編碼：所謂ROI就是人眼感興趣的區域，人眼有注意力機制，人眼在看一幅圖像或者看視頻的時(shí)候有更敏感的區域。整個(gè)視頻輸出之后，人眼最感興趣的區域，首先是人體，而后是人臉，還有一個(gè)是字幕。檢測到感興趣區域之后，就能夠對這些ROI的區域進(jìn)行預處理，做一些邊緣增強銳化。

AI+超分增強修復引擎，則融合了HDR增強、智能超分辨率、光流插幀、畫(huà)質(zhì)增強修復，提升視頻觀(guān)看品質(zhì)。具體能力方面，比如SDR-HDR：提高動(dòng)態(tài)范圍、提升色深、色域轉換；自適應判斷噪聲偽影、根據噪聲強度智能調節、智能上色提升質(zhì)感、邊緣輪廓清晰；畫(huà)面清晰流暢、精準性動(dòng)態(tài)補償、動(dòng)態(tài)場(chǎng)景更穩定；智能遮標、去馬賽克、水印、二維碼等。

應用場(chǎng)景方面，覆蓋廣電及新媒體部門(mén)、視頻內容提供商、通信運營(yíng)商、短視頻APP等。比如我們?yōu)榘僖曂ㄌ峁╊l道拆條和視頻素材剪輯服務(wù)，月均生產(chǎn)上萬(wàn)條節目?jì)热?；比如為橙視傳媒提供智慧內容生產(chǎn)平臺，為政企部門(mén)提供視頻內容剪輯服務(wù)；再比如為天翼視訊搭建原子能力平臺，提供視頻素材剪輯能力等。

責任編輯：房家輝

關(guān)鍵詞：